알파고 재구현으로 본 MCTS와 LLM 강화학습의 차이: 에릭 장이 설명하는 자기대국과 가치함수

핵심 메시지

• 에릭 장은 안식년 동안 알파고를 처음부터 다시 구현했고, 프라임 인텔렉트에서 받은 약 1만 달러의 컴퓨팅 후원 중 최종 학습에는 3천 달러 남짓만 들었다고 밝혔다.
• 알파고의 핵심은 가치망으로 탐색의 '깊이'를, 정책망으로 '너비'를 잘라내 사실상 계산 불가능하던 바둑의 수 읽기를 다룰 수 있게 만든 것이다.
• 몬테카를로 트리 탐색(MCTS)은 이긴 수를 밀어 올리는 방식이 아니라, 모든 수마다 '더 나은 정답'을 만들어 지도학습처럼 학습시키기 때문에 학습 신호의 분산이 매우 낮다.
• 오늘날 LLM 강화학습은 긴 궤적 전체를 하나의 행동으로 취급하고 성공 여부만으로 배우기 때문에, 정답률이 낮은 구간에서는 표본 하나가 주는 정보가 거의 없다.
• 자동화된 AI 연구에서 현재 모델은 하이퍼파라미터 탐색과 실험 수행은 잘하지만, 막힌 방향을 스스로 알아채고 질문 자체를 바꾸는 판단에는 약했다.

쉽게 이해하기

드와키시 파텔의 팟캐스트에 출연한 에릭 장은 최근까지 1X 테크놀로지스의 AI 부문 부사장이었고 그 전에는 지금의 구글 딥마인드 로보틱스에서 연구원으로 일했다. 그는 안식년 동안 알파고를 처음부터 다시 만들었고, 그 과정을 통해 오늘날의 AI 학습 방식이 무엇을 잘하고 무엇을 놓치고 있는지 되짚는다. LLM 코딩 도구 덕분에 과거 딥마인드의 연구팀과 수백만 달러의 연산이 필요했던 작업이 이제는 수천 달러의 대여 컴퓨팅으로 가능해졌다는 것이 출발점이다.

바둑이 오랫동안 계산적으로 다루기 어려운 문제로 여겨진 이유는 단순하다. 19줄 바둑판에서는 한 수마다 약 361개의 선택지가 있고 한 판이 250~300수까지 이어지므로, 가지치기 없이 트리를 펼치면 우주의 원자 수를 아득히 넘는 규모가 된다. 게다가 바둑에는 중간 보상이 없어 끝까지 두기 전에는 어떤 수가 좋았는지 알 수 없다. 알파고의 개념적 돌파구는 이 트리의 너비와 깊이를 신경망으로 동시에 줄인 것이다.

여기에 쓰이는 신경망은 두 종류다. 가치망은 현재 판을 보고 이길 확률을 예측하는 이진 분류기이고, 정책망은 둘 만한 수들의 확률 분포를 내놓는 분류기다. 에릭 장은 사람이 바둑판을 흘끗 보고 '이건 졌다'고 아는 능력 자체가 머릿속의 가치함수이며, 알파고는 그 직관을 학습 가능한 형태로 옮긴 것이라고 설명한다. 이 두 망의 도움을 받아 MCTS는 매 수마다 선택·확장·평가·역전파의 네 단계를 정해진 횟수만큼 반복하고, 각 자식 노드를 몇 번 방문했는지가 최종 수 선택의 투표가 된다.

아름다운 지점은 그다음이다. 탐색이 만들어 낸 더 확신에 찬 분포를 정책망에 다시 학습시키면 다음 판에서는 탐색을 시작하는 지점 자체가 높아지고, 1,000번의 시뮬레이션이 하던 일이 신경망의 한 번의 순전파로 흡수된다. 여기서 에릭 장이 강조하는 대비가 나온다. MCTS는 '누가 이겼나'로 공로를 나누지 않고 내가 실제로 둔 모든 수에 대해 '이렇게 뒀어야 했다'는 라벨을 붙여 주는 반면, 오늘날 LLM 강화학습은 긴 답변 전체를 하나의 행동으로 두고 정답 여부만 받는다. 그는 안드레이 카파시가 말한 '빨대로 감독 신호를 빨아들인다'는 표현을 빌려, 정답률이 낮을수록 표본 하나에서 얻는 정보가 급격히 줄어드는 구조적 한계를 지적한다.

인터뷰 후반부는 자동화된 AI 연구로 옮겨 간다. 그는 실험 계획을 설명하면 알아서 돌리고 그래프와 보고서까지 만들어 주는 '실험' 스킬을 직접 만들어 썼고, 개방적인 코드 수정까지 포함하는 요즘의 자동 탐색이 옛날 그리드 서치보다 훨씬 유연하다고 평가했다. 다만 한 갈래를 파다가 '이 방향 자체가 틀렸다'며 물러서서 다시 묻는 측면적 사고는 여전히 약했고, 인프라 버그는 결국 사람이 알맞은 질문을 던져야 잡혔다고 덧붙였다.

주요 인사이트

• 에릭 장이 꼽는 알파고의 진짜 놀라움은 승률이 아니라, 열 층 남짓한 신경망의 순전파가 사실상 탐색 불가능한 시뮬레이션을 높은 충실도로 근사한다는 사실이다. 그는 같은 원리가 알파폴드에도 깔려 있다고 본다.
• 최악의 경우 계산이 어려운 문제라도 현실의 인스턴스에는 구조가 있어서 근사가 잘 통한다. 그는 이것이 계산 복잡도를 최악의 경우로만 재는 관행을 다시 생각하게 만든다고 말한다.
• MCTS가 정책보다 낫다는 것은 보장이 아니라 경험칙이다. 가치함수가 부정확하면 탐색이 오히려 나쁜 분포를 만들 수 있어, 종국까지 두는 대국을 일부 남겨 가치 추정을 현실에 붙들어 매는 장치가 필요하다.
• 오프폴리시 데이터가 늘 해로운 것은 아니다. 최적 경로 주변으로 살짝 벗어난 상태들에 '되돌아오는 법'을 라벨로 붙여 주면 오히려 견고해지지만, 도달할 일 없는 상태만 잔뜩 학습하면 모델 용량만 낭비된다.
• 스케일링 법칙을 연구하려면 먼저 버그 없이 작동하는 시스템과 좋은 데이터가 있어야 한다. 그는 잘 안 되는 상태에서 그린 스케일링 곡선은 나쁜 데이터에 대한 곡선일 뿐이었다고 회고한다.

자주 묻는 질문

관련 AI 소식