AI가 추론을 배운 과정: 체스·바둑 게임 AI에서 알파고·MuZero, 사고의 사슬과 강화학습까지

핵심 메시지

• 좋은 추론이란 서로 쌓여 새로운 결론을 낳는 생각의 사슬이며, 초기 대형 언어모델은 여러 단계를 계획해야 하는 문제에서 이를 잘 해내지 못했다.
• 모든 추론 접근은 환경 변화를 예측하는 '세계 모델'과 그것으로 결정을 내리는 '알고리즘' 두 가지를 필요로 한다.
• 신경망이 수작업 평가식을 대체하며 위치 직관을, 정책 함수가 수 직관을 학습했고, 이를 몬테카를로 트리 탐색과 결합한 것이 알파고였다.
• 알파고 제로와 MuZero는 인간 기보 없이 자가 대국만으로, 나아가 규칙조차 모른 채 경험만으로 세계 모델을 학습해냈다.
• ChatGPT의 범용 세계 모델 위에서 사고의 사슬·생각의 나무·강화학습이 결합되며 추론 능력이 크게 향상됐다.

쉽게 이해하기

영상은 저자가 ChatGPT에 '삼목(틱택토)에서 일부러 져보라'고 시켰다가 실패하는 장면에서 시작한다. 강하게 학습된 '이기려는' 패턴에서 벗어나지 못하는 모습은, 초기 대형 언어모델이 블록 쌓기처럼 여러 단계를 앞서 계획해야 하는 단순 추론에서도 자주 무너졌다는 관찰과 이어진다. 특히 8단계가 넘는 문제에서 실패율이 높았고, 겉보기 지능이 그럴듯한 헛소리로 녹아내렸다. 좋은 추론이란 서로 쌓여 새로운 결론을 낳고, 남에게 공유하면 같은 결론에 도달하게 하는 생각의 사슬이다.

컴퓨터 과학은 사고를 기계화하려는 꿈에서 자랐고, 초기 70년간 진전의 상당 부분은 보드게임이라는 좁은 영역에서 이뤄졌다. 어떤 영역이든 추론에는 두 가지가 필요하다. 환경이 행동에 어떻게 반응할지 예측하는 시뮬레이터 격의 '세계 모델'과, 그 모델로 결정을 내리는 '알고리즘'이다. 체스에서 세계 모델은 규칙과 판 상태이고, 단순한 알고리즘은 세계 모델로 다음 수들을 내다보며 가치가 가장 높은 수를 두는 탐욕적 방식이다. 다만 전체 게임 트리를 다 탐색하는 것은 우주의 원자 수보다 많은 경우의 수 때문에 불가능하다.

인간은 두 가지 직관, 즉 '이 위치가 얼마나 유리한가'와 '이 수가 얼마나 유망한가'를 경험으로 쌓는다. 1989년 TD-Gammon에서 신경망이 수작업 평가식을 대체해 위치 직관을 자가 대국으로 학습했고, 단순한 한 수 앞 탐색만으로 최상위 인간 수준에 이르렀다. 그러나 경우의 수가 훨씬 많은 바둑에서는 이 방식의 한계가 드러났다. 2014년 연구자들은 인간이 둘 법한 수를 확률로 내놓는 정책 함수로 '수 직관'을 학습시켰지만, 위치·수 직관과 앞을 내다보는 탐색을 결합하는 인간에게는 미치지 못했다.

마지막 열쇠는 탐색이었다. 1987년 제안된 아이디어는 '그냥 무작위로 여러 판을 둬보자'는 것으로, 각 수 뒤에 수백 번의 무작위 대국(롤아웃)을 돌려 승률을 추정하는 몬테카를로 트리 탐색이다. 이를 위치·수 직관을 학습한 신경망과 결합해 유망한 방향으로 롤아웃을 유도한 것이 알파고다. 알파고는 명확한 상황에서는 빠르게 결정하고 복잡한 국면에는 더 많은 사고 시간을 들이며, 이세돌과의 2국 37수처럼 전문가를 놀라게 한 창의적 수를 뒀다. 이어 인간 기보 없이 자가 대국만으로 학습한 알파고 제로가 오히려 더 강했는데, 인간 기보가 탐색 공간을 제한하는 족쇄였음을 보여준다.

다음 전환은 경험만으로 세계 모델 자체를 학습하는 것이었다. 2018년 '세계 모델' 논문은 몇 시간의 무작위 경험으로 시뮬레이터 신경망을 학습해, AI가 '꿈'이라 부른 상상 속 환경에서 훨씬 빠르게 연습하게 했다. DeepMind의 MuZero는 규칙을 알려주지 않고도 보상 경험만으로 체스·바둑·쇼기와 57개 아타리 게임을 같은 신경망으로 익혔다. 다만 게임 간 전이 학습이 없어 매번 처음부터 배워야 했다. 이 한계를 넘어선 것이 웹 전체 데이터를 예측하도록 학습된 ChatGPT의 범용 세계 모델이며, 여기에 '단계별로 생각하자'는 사고의 사슬, 여러 경로를 탐색·평가하는 생각의 나무, 그리고 각 추론 단계에 피드백을 주는 강화학습(예: '단계별로 검증하자' 연구)이 결합되며 추론 능력이 크게 향상됐다.

주요 인사이트

• 게임 AI의 오랜 두 축인 '직관(신경망)'과 '탐색(몬테카를로 트리 탐색)'의 결합이, 그대로 언어모델의 추론 향상으로 옮겨졌다는 계보가 이 영상의 핵심 서사다.
• 알파고 제로가 알파고를 능가한 사실은, 인간 기보가 도움이 아니라 오히려 탐색 공간을 좁히는 족쇄가 될 수 있음을 보여준다.
• 사고의 사슬은 빠른 직관적 추론에 가까워 첫 그럴듯한 경로로 돌진하다 틀리기 쉬운데, 생각의 나무와 탐색을 더하면 여러 경로를 평가해 이를 보완한다.
• '모델을 더 크게 만드는 것'보다 '더 오래 생각하게 하는 것'이 효과적일 수 있다는, 추론 토큰량과 정확도의 관계가 반복해 확인된다.
• 추론 능력이 오를 때마다 ARC처럼 암기가 통하지 않는 새 과제로 목표가 옮겨가며, '진짜 이해인가 정교한 흉내인가'라는 근본적 논쟁이 남는다.

자주 묻는 질문

관련 AI 소식