다중 에이전트 AI 평가 방법: 일반화 측정 원칙과 멜팅팟·콘코디아 대회 설계 사례

핵심 메시지

• 협력이 흥미로워지는 지점은 이해가 완전히 일치하는 팀워크가 아니라 이해가 부분적으로 어긋나는 혼합 동기 상황이다.
• 작은 세계에서는 가능한 상태를 미리 헤아릴 수 있지만, 큰 세계에서는 규칙조차 탐색을 통해 알아내야 하므로 전략의 성격이 달라진다.
• 머신러닝이 성공한 비결은 일반화 측정을 규범으로 만든 것이며, 다중 에이전트 평가도 같은 기준을 지켜야 한다.
• 멜팅팟은 물리적 환경과 사회적 환경의 일반화를 분리해 측정하고, 미리 학습시켜 고정한 배경 집단과의 첫 만남으로 낯선 상대에 대한 일반화를 잰다.
• 평가를 만드는 사람과 해법을 만드는 사람을 분리하는 것이 시험지 유출을 막는 가장 확실한 방법이다.

쉽게 이해하기

강연은 전략적 상황을 순수 동기와 혼합 동기로 나누는 데서 시작한다. 순수 갈등인 영합 게임과 모두의 이해가 완전히 일치하는 팀워크는 양 극단이고, 흥미로운 문제는 대부분 그 사이에 있다. 라이보는 팀워크에서는 집단을 개인처럼 취급해 점수를 하나만 매기면 되므로 다중 에이전트 고유의 문제가 생기지 않는다고 정리한다. 협력이라는 말을 쓸 수 있는 것도 이해가 부분적으로 어긋나는 혼합 동기 상황뿐이라는 것이다.

다음으로 강연은 작은 세계와 큰 세계를 구분한다. 작은 세계에서는 뛰기 전에 살펴볼 수 있고, 큰 세계에서는 다리에 도착해야 건널 방법을 알 수 있다. 포커처럼 어떤 카드가 올지 몰라도 그것이 덱 안의 카드라는 사실은 아는 상황이 작은 세계라면, 큰 세계에서는 규칙 자체를 탐색으로 알아내야 한다. 게임이론에서 불완전 정보와 불완비 정보를 나누는 구분과 같다. 죄수의 딜레마나 내시 균형 같은 도구는 작은 세계에서 메커니즘을 드러내는 데 유용하지만, 그것이 더 큰 세계를 눌러 담은 요약이라는 사실을 잊으면 안 된다고 강연자는 강조한다.

큰 세계에서 벌어지는 일을 보여 주는 사례가 사과를 수확하는 실험 환경이다. 여기서 에이전트는 협력이나 배신을 고르지 않고 앞으로 걷거나 사과를 먹는 행동만 고른다. 사과를 조금 남겨 두면 다시 자라지만 한 구역을 다 먹어 치우면 영영 사라지는 규칙 아래, 훈련된 에이전트들은 남이 먼저 먹을까 봐 시작하자마자 전부 먹어 치운다. 그런데 지도에 벽과 좁은 통로를 넣자 일부 에이전트가 통로를 지키며 남을 쫓아내고 자기 구역만 지속 가능하게 관리하는 행동이 나타난다. 작은 세계의 보수 행렬에는 벽이라는 개념 자체가 없기 때문에 이런 결과는 애초에 나올 수 없다.

강연의 핵심 주장은 평가로 이어진다. 라이보는 머신러닝이 다른 분야와 달리 일반화 측정을 규범으로 삼았고, 시험 세트로 학습하는 일을 죄악처럼 취급하는 이 규범이야말로 분야의 성공 비결이라고 말한다. 다만 시험 세트를 보며 모델을 계속 손보는 방식은 사실상 시험 세트에 모델을 맞추는 일이 되어 일반화 측정이라는 의미를 잃는다. 멜팅팟은 이 원칙을 다중 에이전트로 옮긴 평가 규약으로, 일반화 요구를 물리적 환경과 사회적 환경으로 나눈 뒤 미리 학습시켜 고정한 배경 집단을 시험 상대로 삼는다. 평가 대상 집단이 훈련 중 만난 적 없는 상대와 부딪히게 해 낯선 개인들과도 잘 지내는지를 재는 것이다.

언어모델 에이전트가 등장하면서 무대는 다시 넓어졌다. 서로 대화할 수 없던 컴퓨터 게임 환경과 달리, 지금은 자연어로 협상하고 현실 세계의 사실을 아는 에이전트를 세울 수 있다. 딥마인드가 공개한 콘코디아는 탁상 역할극의 구조를 그대로 옮겨 참가자 여럿과 게임 마스터 하나로 상황을 굴리는 오픈소스 시뮬레이터다. 강연자는 코드로 짠 게임에서는 묘사하지 않은 것이 존재하지 않지만 콘코디아에서는 묘사하지 않은 것도 언어모델이 지어내 존재할 수 있다고 그 차이를 설명한다. 이 위에서 멜팅팟과 같은 용어와 구조로 대회를 열었고, 참가자들은 에이전트의 판단 논리를 이루는 프롬프트 묶음을 설계해 제출했다.

질의응답에서는 새로 생긴 문제들이 다뤄졌다. 언어모델 에이전트는 연구자가 읽은 논문을 이미 읽었기 때문에, 자신이 놓인 상황이 죄수의 딜레마임을 알아채고 그에 맞춰 행동할 수 있다. 강화학습 에이전트에게는 없던 문제다. 라이보는 이를 배제할 방법은 여럿 있지만 심사자에게 설명할 수 있는 방식이어야 한다며, 이 분야가 아직 인식론적 규범을 협상하는 중이라고 말한다. 또한 연구용 언어모델을 기업이 만들면서 걸어 둔 안전장치가 갈등이나 폭력의 발생을 연구하는 실험 자체를 불가능하게 만들 수 있다는 점도 지적한다.

주요 인사이트

• 혼자 있는 에이전트에게 지속 가능한 수확은 사소한 문제다. 어려워지는 이유는 자원 자체가 아니라 다른 에이전트가 먼저 가져갈 수 있다는 상호 의존성 때문이다.
• 벽 배치만 바꿨을 뿐인데 지속 가능성이 나타났다는 결과는, 그 지속 가능성이 사유화와 배제를 통해 얻어진 것이며 불평등을 동반한다는 점에서 무조건 좋은 결과로 읽히지 않는다.
• 평가 설계자와 해법 설계자를 분리하라는 원칙은 시험 세트 학습 금지를 사람 사이의 규칙으로 옮긴 것이다. 같은 사람이 둘 다 맡으면 스스로에게 유리하게 굴지 않기가 사실상 불가능하다.
• 고정된 일반화 시험은 통제된 측정을 주지만 가위바위보식 순환 관계를 드러내지 못한다. 그래서 대회에서는 상위 참가자들끼리 맞붙이는 단계를 따로 두었다.
• 단일 플레이어 게임은 결정론적이라 학습 에이전트가 결국 모든 허점을 찾아내지만, 다중 에이전트 상황에서는 상대가 나에게 최적 대응을 하면서 환경이 계속 새로워진다. 라이보는 이를 자동 교육과정 효과라고 부른다.
• 반복 죄수의 딜레마는 75년째 표준처럼 쓰이지만, 같은 상대와 같은 상황을 시점까지 맞춰 되풀이한다는 가정은 현실에 없다. 옛날에 다루기 쉬웠다는 이유로 굳어진 추상화를 지금도 유일한 선택지로 여길 필요는 없다.

자주 묻는 질문

관련 AI 소식