협력형 AI와 콘코디아 대회: 언어모델 에이전트의 다중 상호작용을 평가하는 방법과 의미

핵심 메시지

• 협력형 AI는 여러 에이전트가 상호작용할 때 생기는 위험을 관리하는 분야로, 실패 모드를 미리 찾아내고 완화하는 것이 목표다.
• 이 분야는 중요성에 비해 연구 인력이 매우 적은데, 개별 모델 정렬과 달리 여러 모델 사이의 문제라 뚜렷한 주인이 없기 때문이라는 진단이 제시됐다.
• 콘코디아 환경은 게임 마스터가 상황을 관장하고 여러 배역의 에이전트가 텍스트로 상호작용하는 구조로, 협상이나 집단행동 같은 시나리오를 담는다.
• 평가는 시나리오별 점수를 모아 체스식 ELO 순위로 환산하며, 난이도 차이를 보정하는 정규화가 들어가고 공개되지 않은 시나리오로 최종 심사를 한다.
• 이 틀은 대회용으로 좁게 설계됐지만, 게임 마스터가 사실 관계를 관리하는 방식이라 기후 협상처럼 개방적인 실제 협력 문제로도 확장할 수 있다.

쉽게 이해하기

협력형 AI 재단(Cooperative AI Foundation)의 챈들러 스미스가 아파트 리서치 해커톤 참가자들 앞에서 콘코디아 대회(Concordia Contest)를 소개했다. 이 대회는 언어모델로 만든 에이전트들이 서로 협력해야 하는 상황에 놓였을 때 얼마나 잘 협력하는지를 겨루는 형식이다. 참가자는 파이썬 파일 하나로 된 에이전트를 제출하고, 주최 측이 여러 환경과 시나리오에 그 에이전트를 투입해 점수를 매긴다.

구조는 개발 단계와 평가 단계로 나뉜다. 개발 단계에서는 공개된 환경에서 에이전트를 다듬고, 평가 단계에서는 미리 공개하지 않은 시나리오까지 포함해 더 복잡한 상황에서 성능을 측정한다. 스미스는 중간에 공개되는 리더보드가 최종 순위를 뜻하지 않는다는 점을 여러 차례 강조했다. 리더보드는 다른 참가자들과 비교한 위치를 알려줄 뿐이고, 자기 에이전트를 어떻게 고칠지에 대한 피드백은 평가 스크립트를 직접 돌려 얻어야 한다는 것이다.

점수 산정은 환경마다 다르다. 공공 조정이나 노동 집단행동 같은 각 환경이 자체 점수를 내고, 시나리오는 그 점수를 얻기 어렵게 만드는 복잡도와 역할 차이를 정한다. 에이전트는 여러 환경과 시나리오를 두루 돌면서 각 시나리오에서 주역이 되기도 하고 배경 인물이 되기도 한다. 이렇게 모인 점수를 체스와 같은 ELO 방식으로 환산해 중앙값 1500을 기준으로 순위를 만든다. 난이도가 높은 상황만 배정받아 불이익을 보는 일이 없도록 정규화를 거친다고 설명했다.

스미스가 이 대회의 배경으로 든 것이 협력형 AI라는 분야 자체다. 그는 앞으로 진보한 다중 에이전트 시스템이 점점 더 중요한 상황에 배치될 것이고, 그렇다면 에이전트들이 어떻게 상호작용하는지 최대한 많이 이해해두는 일이 대단히 중요하다고 말했다. 협력형 AI는 그 상호작용에서 생기는 위험을 관리하고 실패 모드를 식별해 완화하는 동시에, 협력이 열어주는 가능성도 함께 살피는 작업이라는 것이다.

그가 특히 강조한 것은 이 분야의 인력 부족이다. 개별 모델의 정렬이나 안전성과 달리 서로 다른 능력을 가진 모델들 사이의 협력 문제는 뚜렷한 주인이 없어서, 중요성은 대체로 인정받지만 어디서 시작해야 할지 모르는 사람이 많다는 진단이다. 대회와 해커톤은 그 진입로를 만들려는 시도이며, 좋은 에이전트를 만든 참가자는 최종 보고서의 공동 작업자로 이름을 올릴 기회를 얻는다.

주요 인사이트

• 협력적으로 잘 행동하는 에이전트만 가치 있는 것이 아니라, 실패하는 에이전트가 남긴 데이터도 위험을 이해하는 데 그만큼 유용하다고 스미스는 강조했다. 대회의 목표 자체가 '무엇이 협력을 만들어내고 무엇이 무너뜨리는가'의 레시피를 찾는 데 있기 때문이다.
• 콘코디아 코드베이스는 오픈소스로 공개돼 있어 참가자가 직접 새 환경을 만들어 제출할 수 있고, 그렇게 만든 환경도 보고서 기여로 인정받을 수 있는 경로로 제시됐다.
• 환경을 확장할 때는 담합의 위험처럼 협력을 다른 방향으로 비트는 상황이나 게임이론적으로 해법 구조가 다른 상황을 추가할 계획이라고 밝혔다. 작은 설정 변화만으로 난이도가 크게 달라진다는 점도 함께 언급됐다.
• 실제 문제로의 확장 예시로는 기후 협상이 제시됐다. 여러 나라를 배역으로 두고 게임 마스터가 사실과 시간 흐름을 관리하면 비교적 간단히 구현할 수 있다는 설명인데, 지금 대회 환경은 그 전 단계인 협력 게임이론의 기초를 확인하는 데 초점을 맞췄다.
• 주최 측은 평가에 쓰는 스크립트를 홀드아웃 시나리오만 빼고 공개해두었다. 참가자가 자기 에이전트를 미리 같은 방식으로 채점해볼 수 있게 해 개발 반복 주기를 짧게 만들려는 설계다.

자주 묻는 질문

관련 AI 소식