멀티에이전트 학습 이론: 후회 최소화와 캘리브레이션으로 본 AI 에이전트 시대의 수학

핵심 메시지

• 기존 머신러닝은 데이터가 고정된 분포에서 나온다고 가정하지만, AI가 도구가 아니라 행위자가 되는 순간 이 가정은 무너진다.
• 분포가 없는 환경에서 성능을 재는 두 축은 균형점 도달을 겨냥한 후회 최소화와 예측 신뢰도를 겨냥한 캘리브레이션이다.
• 낙관적 가중치 갱신, 이른바 음의 모멘텀을 쓰면 게임 참가자들의 후회가 훨씬 빠르게 줄어든다는 것이 증명됐다.
• 신호등처럼 조언이 주어지는 상황에서 조건부 이탈까지 막으려면 일반 후회가 아니라 스왑 후회를 줄여야 한다.
• 발표자는 수천, 수백만 개의 에이전트가 서로 다른 이해관계를 갖고 연결되는 세계를 전제로 계산 모형을 다시 짜야 한다고 주장한다.

쉽게 이해하기

TTIC 강연에 나선 MIT 박사과정 맥스웰 피셜슨은 AI의 역할이 이메일 초안 작성에서 운전, 투자, 사업 운영으로 옮겨 가고 있다는 관찰에서 이야기를 시작했다. 이는 AI가 세상을 관찰하는 도구에서 세상에 참여하는 행위자로 바뀌는 전환이며, 여기서 고전 머신러닝의 전제가 깨진다고 그는 말했다.

예시는 가위바위보였다. 상대의 지난 수를 모아 분포를 추정하고 그 분포에 맞춰 계속 같은 수를 내면, 상대가 적응하는 순간 전략이 무너진다. 금융시장도 마찬가지다. 내 결정이 남의 결정을 바꾸고 그것이 다시 내 데이터를 바꾸는 동적 과정에서는 과거 데이터를 외우는 방식이 통하지 않는다.

대안으로 제시된 틀이 온라인 학습이다. 학습을 학습자와 환경 사이의 순차적 상호작용으로 보고, 분포에 기대지 않는 성능 기준을 세운다. 그 기준 중 하나가 후회 최소화로, 내가 실제로 얻은 보상을 돌이켜 봤을 때 가장 좋았던 고정 행동의 보상과 비교한다. 모든 참가자가 후회를 충분히 줄이면 시간 평균 전략이 게임의 근사 균형점이 된다는 점이 이 기준을 정당화한다.

후회를 줄이는 고전 알고리즘인 가중치 곱 갱신은 라운드 수의 제곱근에 비례하는 후회를 보장한다. 여기에 직전 기울기를 일부 되돌리는 낙관적 변형, 이른바 음의 모멘텀을 더하면 훨씬 빨라진다. 발표자 팀은 다자 일반합 게임에서도 이 방식이 거의 최적인 다항로그 수준의 후회를 낸다는 것을 증명했고, 이 과정에서 학습 동역학을 조화 성분으로 분해하는 푸리에 해석을 도입했다.

강연 후반부는 캘리브레이션으로 넘어간다. 언어모델이 잘못된 사실을 그럴듯하게 말하는 문제를 두고, 모델이 자기 확신도를 정확히 내놓을 수 있는지를 묻는 성능 기준이다. 20%라고 예보한 날들을 모아 보면 실제로 20% 정도 비가 왔어야 한다는 것이 캘리브레이션의 정의이며, 상대가 최대한 심술궂게 결과를 고르는 상황에서도 이를 달성할 수 있는지가 문제가 된다.

주요 인사이트

• 내시 균형은 각자가 독립적으로 무작위 전략을 쓰는 상태라 항상 존재하지만 계산이 어렵다. 반면 상관 균형은 신호등이나 경로 안내처럼 조율 장치가 개입해 행동을 상관시키며, 현실의 다자 게임에서 실제로 겨냥할 만한 목표다.
• 노란불에서 상대가 빨간불을 봤다는 사실을 이용해 속도를 올리는 행동이 조건부 이탈, 즉 스왑 이탈이다. 눈을 감고 교차로를 통과하는 무조건적 이탈만 막는 조율은 조악한 상관 균형에 그치고, 조건부 이탈까지 막아야 진짜 상관 균형이 된다.
• 스왑 후회 알고리즘은 오랫동안 행동 수에 다항으로 비례하는 라운드를 요구해 왔다. 강화학습 정책이나 신경망 가중치처럼 행동 공간이 지수적으로 큰 현실에서는 사실상 쓸 수 없다는 뜻이다. 발표자 팀은 정확도에 대한 의존을 대가로 행동 수에 다항로그로 비례하는 알고리즘을 제시했다.
• 캘리브레이션 오차의 상한은 1998년 결과 이후 수십 년간 제자리였다. 발표자 팀은 이를 처음으로 점근적으로 개선했는데, 수치상 개선폭 자체는 크지 않아도 방향성 정규화 같은 새 알고리즘 아이디어를 끌어냈다는 데 의미를 뒀다.
• 발표자는 캘리브레이션 속도를 '신뢰의 비용'으로 표현했다. 수렴이 느린 모델은 데이터에 적응하기 전까지 과신하거나 과소평가하는 상태에 더 오래 머무른다는 뜻이며, 속도를 높인다는 것은 더 적은 데이터로 믿을 만한 확률을 내놓는다는 의미다.

자주 묻는 질문

관련 AI 소식