코드 월드 모델과 오토 하네스 — 딥마인드 연구자가 말하는 LLM 게임 에이전트의 두 가지 해법

핵심 메시지

• LLM에게 매 수를 직접 묻는 방식은 단순한 게임에는 통하지만, 복잡하고 학습 데이터 밖에 있는 게임에서는 성능도 속도도 무너진다.
• 대안은 LLM에게 정책 대신 게임의 작동 규칙 전체, 즉 월드 모델을 코드로 생성하게 한 뒤 플래너를 붙여 수를 계산하는 것이다.
• 코드는 궤적 데이터로 만든 단위 테스트로 채점되고, 점수와 실패한 테스트를 되먹여 트리 형태로 여러 세대에 걸쳐 진화한다.
• 완전정보 게임에서는 학습 궤적 다섯 개만으로 대개 20회 미만의 반복 만에 거의 100% 정확도의 모델을 얻었고, LLM을 직접 정책으로 쓴 상대를 꾸준히 이겼다.
• 더 가벼운 해법인 오토 하네스는 반칙 수만 걸러 주는데, 이것만으로 작은 모델이 더 큰 모델을 대부분의 게임에서 앞질렀다.

쉽게 이해하기

구글 딥마인드의 카터 웬델켄 연구원이 스노클 AI 리딩 그룹에서 지난 1년간의 연구를 소개했다. 주제는 에이전트의 의사결정을 코드 합성으로 푸는 것이고, 무대는 게임이다. 게임은 다른 환경보다 통제가 잘 되기 때문에 이 접근을 처음 검증하기에 좋은 대상이라는 설명이다.

가장 흔한 방식은 두 가지다. 하나는 LLM을 정책으로 그대로 쓰는 것, 즉 상태를 보여 주고 다음 수를 묻는 반복이다. 다른 하나는 LLM에게 게임을 플레이하는 정책 코드를 짜게 하는 것이다. 둘 다 단순한 게임에서는 통하지만, 상대를 예측하기 어려운 다인용·적대적 게임이나 학습 데이터 분포 밖의 게임에서는 급격히 나빠진다. 매 수마다 LLM을 호출해야 하니 느리고, 성능을 높이려 미세조정을 시도하면 비용도 만만치 않다.

그래서 택한 첫 번째 대안이 코드 월드 모델이다. LLM에게 정책이 아니라 게임 엔진 자체를 코드로 만들게 한 뒤, 거기에 몬테카를로 트리 탐색 계열의 플래너를 연결해 수를 고르게 한다. 모델은 상태와 행동을 받아 다음 상태를 내놓는 전이 함수와, 상태에서 플레이어가 실제로 보는 정보를 내놓는 관측 함수를 중심으로 정의된다. 상대의 패를 볼 수 없는 불완전정보 게임을 위해서는 관측된 기록으로부터 보이지 않는 행동을 메워 넣는 함수가 추가된다. 학습은 무작위 플레이 궤적과 자연어 게임 설명에서 출발해, 궤적 데이터로 만든 단위 테스트를 몇 개 통과했는지로 점수를 매기고 실패한 테스트를 되먹이는 식으로 진행된다. 코드 후보들은 트리로 뻗어 나가며, 점수가 높으면서 아직 덜 확장된 가지를 고르는 방식으로 다음 세대를 만든다.

결과는 정보 조건에 따라 뚜렷이 갈렸다. 완전정보 게임 다섯 종에서는 학습 궤적 다섯 개만 주고도 대개 20회 미만의 반복 만에 99~100% 전이 정확도에 도달했다. 여기에는 LLM이 알 리 없는 새로운 규칙의 변형 체스처럼 일부러 만든 게임도 포함된다. 반면 불완전정보 게임에서는 대체로 잘 학습되긴 했지만 진 러미처럼 상태 표현이 복잡한 게임은 사실상 실패했고, 학습 중에 모든 패를 보여 주는 조건보다 실제 대국처럼 가린 조건에서 성적이 눈에 띄게 떨어졌다. 실제 대국 결과에서도 코드 월드 모델을 붙인 에이전트는 LLM을 정책으로 쓴 상대를 대부분 이겼는데, 상대가 반칙 수를 둬서 몰수패하는 경우도 포함된다. 예외는 무승부만 나오는 틱택토였고, 이건 게임이 너무 쉬웠기 때문이다.

두 번째 접근인 오토 하네스는 이 경험에서 나왔다. 복잡한 환경에서 월드 모델 전체를 신뢰할 만하게 학습하는 일은 어렵고 트리 탐색은 느리다. 그런데 LLM이 지는 가장 흔한 이유를 보니 반칙 수, 즉 규칙상 둘 수 없는 수를 두는 것이었다. 그렇다면 월드 모델 전체 대신 '이 수가 합법인가'만 판정하는 작은 코드를 같은 방식으로 진화시켜 붙이면 어떨까. LLM이 수를 제안하면 학습된 판정기가 검사하고, 반칙이면 이유를 돌려주고 다시 묻는 구조다. 텍스트 게임 모음에서 합법 수 비율이 99% 아래로 떨어지던 게임들을 골라 적용하자 거의 모두 100%까지 올라갔고, 하네스를 붙인 작은 모델이 더 큰 모델을 대부분의 게임에서 앞질렀다.

주요 인사이트

• 합법 수 비율은 90%만 되어도 충분해 보이지만, 한 판에 수십 번 수를 두는 게임에서는 대부분의 대국을 반칙으로 잃는다는 뜻이다. 에이전트 신뢰성 지표는 평균이 아니라 누적 실패 확률로 읽어야 한다.
• 월드 모델 전체를 학습하는 대신 '유효성 한 비트'만 예측하는 부분 월드 모델로 문제를 줄인 것은, 무거운 일반해보다 실패 원인을 정조준한 좁은 해법이 더 실용적일 수 있음을 보여준다.
• 코드 진화 루프는 사람이 코딩 도구를 쓸 때 하는 행동, 즉 결과를 보고 피드백을 주고 다시 생성시키는 과정을 자동화한 것이다. 발표자 역시 이 루프의 자동화를 코딩 도구의 다음 단계로 꼽았다.
• 완전정보에서는 거의 완벽했지만 상대의 패가 가려지는 순간 무너졌다는 점은, 현재 코드 합성의 한계가 규칙 표현이 아니라 숨은 상태 추정에 있음을 시사한다.
• 모델 체급을 올릴수록 월드 모델 품질과 최종 성능이 함께 좋아졌다는 관찰은, 이 접근이 기반 모델의 발전과 함께 자연스럽게 확장될 여지를 남긴다.

자주 묻는 질문

관련 AI 소식