MINDcraft 논문 공개: 마인크래프트에서 LLM 에이전트들이 협업하는 법을 측정하다

핵심 메시지

• 마인크래프트에서 LLM 에이전트를 조종하던 오픈소스 프로젝트 MINDcraft가 동료 심사 중인 학술 논문으로 정리돼, 이제 인용하고 그 위에 연구를 쌓을 수 있는 기반이 됐다.
• 논문의 초점은 개별 봇의 실력이 아니라 여러 봇이 서로 대화하며 협력하는 능력이다.
• 재료를 나눠 가진 두 봇이 대화로 인벤토리를 합쳐 목표 아이템을 만드는 제작 과제, 자동으로 구성된 주방에서 분업하는 요리 과제, 정해진 설계도대로 블록을 놓는 건축 과제가 준비됐다.
• 여러 모델을 자기 자신의 복제본과 짝지어 비교한 실험에서, 에이전트 수가 늘어날수록 성능이 눈에 띄게 떨어졌다.
• 실험 시점이 최신 모델 세대 이전이라 당시 기준으로는 클로드 3.5가 가장 좋은 성적을 냈다.

쉽게 이해하기

게임 마인크래프트 안에서 대규모 언어 모델(LLM)이 캐릭터를 직접 조종하게 만드는 오픈소스 프로젝트 MINDcraft가 학술 논문으로 정리됐다. 논문 제목은 '행동 단위로 협업하기: 체화된 추론을 위한 멀티 에이전트 LLM 프레임워크'로, 영상 공개 시점에는 아직 동료 심사를 받는 중이었다. 프로젝트를 만든 개발자 두 사람이 공저자로 이름을 올렸지만, 실제 작업의 대부분은 UC 샌디에이고 연구진이 맡았다.

논문이 붙었다는 것은 단순한 권위 부여가 아니다. 취미로 시작된 코드가 인용 가능한 연구 대상이 되면서, 다른 연구자들이 같은 환경과 같은 과제로 자기 모델을 시험하고 결과를 비교할 수 있는 공통 실험대가 생겼다는 뜻이다.

이번 정리 과정에서 '태스크'라는 구조가 들어갔다. 봇을 미리 정해진 인벤토리와 목표 아이템으로 자동 시작시키고, 목표가 달성됐는지 계속 확인하다가 아이템을 얻는 순간 종료하거나 그렇지 않으면 시간 초과로 끝낸다. 어떤 봇이 무엇을 언제 해냈는지 사람이 지켜보지 않아도 기록되는 구조다.

협업 능력을 재기 위한 과제는 세 갈래다. 목표 아이템의 재료를 두 봇의 인벤토리에 쪼개 넣어 두고 서로 대화해 합치게 만드는 제작 과제, 작물과 동물과 재료가 갖춰진 작은 조리 환경을 자동으로 만들어 주고 요리를 시키는 과제, 그리고 미리 정해진 구조물을 함께 짓는 건축 과제다. 건축 과제는 블록의 종류와 위치 목록을 주고 제대로 놓았는지 채점하는 방식이라, 자유 창작이 아니라 정량 측정이 가능한 형태로 설계됐다.

결과는 겸손하다. 이 과제들은 상당히 어렵고 모델들은 생각만큼 영리하지 않아서, 특히 봇이 셋 이상으로 늘면 서로 잘 맞물리지 못했다. 자유롭게 무언가를 함께 창작하는 수준의 협업은 아직 되지 않는다는 점도 영상은 분명히 밝힌다.

주요 인사이트

• 협업 능력을 측정하려면 '함께 잘했다'를 채점할 수 있는 형태로 과제를 만들어야 한다. 자유 창작 건축을 포기하고 설계도 방식을 택한 것은 정확히 그 때문이다.
• 재료를 일부러 두 봇에게 쪼개 나눠 주는 설계는, 혼자서는 절대 목표를 달성할 수 없게 만들어 대화를 선택이 아닌 필수로 바꾼다.
• 에이전트를 늘리면 나아질 것 같지만 실제로는 성능이 떨어진다. 멀티 에이전트 구성이 자동으로 이득이 되지 않는다는 점을 보여 준다.
• 모델 순위는 실험 시점에 묶여 있다. 이 실험은 최신 세대 모델이 나오기 전에 진행돼 당시 기준의 순위를 담고 있으며, 같은 모델이라도 업데이트 이후 특정 환경에서 오히려 나빠질 수 있다는 관찰도 함께 언급된다.
• 게임은 값싼 실험실이다. 물리적 로봇 없이도 물건을 집고 옮기고 조합하는 '체화된 추론'을 반복 실험할 수 있다.

자주 묻는 질문

관련 AI 소식