LLawCo 연구 - LLM 에이전트가 자기 실패에서 협업 규칙을 학습해 팀워크를 개선하는 방법

핵심 메시지

• 구현형 다중 에이전트 과제에서 LLM 에이전트는 과제 해결뿐 아니라 상대와의 조율에도 실패하며, 말을 너무 많이 하거나 같은 실패를 반복하고 탐색을 중복한다.
• LLawCo는 실패한 에피소드를 백본 모델 스스로 분석하게 해 '필요할 때만 말하라' 같은 짧은 행동 규칙을 뽑아낸다.
• 규칙을 프롬프트에만 넣는 것으로는 부족했고, 규칙에 맞는 성공 궤적만 골라 사고 과정을 재생성한 뒤 미세조정까지 해야 효과가 났다.
• 성능 향상은 더 강한 교사 모델이나 외부 데이터가 아니라 같은 백본 모델의 자기 정렬에서 나왔다.
• 학습된 규칙은 백본마다 달라, 각 모델이 자주 저지르는 실수의 종류를 그대로 반영했다.

쉽게 이해하기

미쓰비시전기 연구소(MERL)가 ICML 2026 발표 논문 'LLawCo: Learning Laws of Cooperation'을 영상으로 공개했다. 발표자는 매사추세츠대 애머스트 박사과정생 친훙 저우(Qinhong Zhou)로, MERL 인턴십 기간에 진행한 연구다. 가상 환경에서 몸을 갖고 움직이는 다중 에이전트 과제에서 LLM 에이전트는 과제를 푸는 것만으로 충분하지 않고 다른 에이전트와 손발을 맞춰야 한다. 그러나 실제로는 말을 지나치게 많이 하거나, 실패한 행동을 그대로 반복하거나, 상대가 이미 뒤진 곳을 또 뒤지거나, 상태를 확인하지도 않고 과제가 끝났다고 선언하는 일이 잦다.

연구진의 질문은 '필요할 때만 말하라', '상대를 기다려라' 같은 짧은 행동 규칙 몇 개를 백본 모델이 실제로 체화하게 만들 수 있느냐였다. 완벽한 규칙 체계를 사람이 손으로 적어 주는 것이 목표가 아니라, 에이전트가 자기 상호작용 실패에서 규칙을 스스로 끌어내게 하는 것이다. 파이프라인은 원래 에이전트로 에피소드를 모으는 데서 시작해, 실패한 에피소드는 백본 모델에게 원인을 분석시키고 그 이유들을 소수의 규칙으로 요약한다. 반복 행동이나 조율 실패가 잦았다면 '무한 루프를 피하라', '행동하기 전에 계획하라', '명확하게 소통하라' 같은 규칙이 유도되는 식이다.

핵심은 이 규칙을 프롬프트에만 붙이지 않는다는 점이다. 성공한 궤적도 전부 쓰지 않고 규칙과 일치하는 것만 걸러낸 뒤, 그 궤적의 사고 과정을 다시 생성해 행동을 고르기 전에 관련 규칙을 명시적으로 언급하도록 바꾼다. 그렇게 만든 '규칙에 근거한 사고와 행동' 데이터로 백본을 지도 미세조정한다. 추론 시점에는 학습된 규칙을 다시 프롬프트에 넣어 주고, 미세조정된 에이전트가 규칙에 근거한 사고와 다음 행동을 함께 내놓는다.

평가를 위해 연구진은 PARTNR 환경 위에 명시적 의사소통을 더한 대규모 벤치마크 PARTNR-Dialog를 새로 만들었다. 기존의 소통형 구현 에이전트 벤치마크가 규모가 작거나 학습 기반 방법에 쓸 데이터가 부족했기 때문이다. 시뮬레이터와 에이전트 프레임워크, LLM 서버를 분리해 대규모 평가를 효율화했고, 3인칭 시점 위주였던 시각화에 위에서 내려다보는 화면을 더해 두 에이전트의 공간적 조율을 보기 쉽게 했다. 대화가 한 스텝만 지속되는 탓에 발화가 일어나면 화면을 잠깐 멈춰 메시지와 맥락을 읽게 한 것도 실용적인 변경이다.

결과를 보면 LLawCo는 여러 백본 LLM에서 기존 소통형 에이전트 프레임워크를 일관되게 앞섰고, 논문 초록 기준으로 네 종의 백본에 걸쳐 PARTNR-Dialog에서 평균 4.5%p, TDW-MAT에서 평균 6.8%p의 성공률 향상을 보고했다. 이 향상이 더 큰 교사 모델의 감독이나 외부 데이터가 아니라 같은 백본의 자기 정렬에서 나왔다는 점이 중요하다. 삭제 실험에서는 미세조정이나 규칙 기반 필터링을 빼면 성능이 떨어져 프롬프트만으로는 부족하다는 것이 확인됐고, 규칙을 다른 것으로 갈아 끼우면 같은 상황에서 행동이 크게 달라져 제어 가능성도 드러났다. 사례 연구에서 젬마 3 12B의 실패는 잘못된 행동 인자나 선행 조건 누락 같은 실행 수준 문제에 몰려 있었고, 그래서 유도된 규칙도 '행동 문법과 제약을 검증하라'에 가까웠다.

주요 인사이트

• 규칙을 프롬프트에 적어 주는 것과 규칙으로 학습 데이터를 만드는 것은 효과가 다르다. 삭제 실험에서 미세조정이나 규칙 기반 궤적 필터링 중 하나만 빠져도 성능이 내려갔다.
• 학습된 규칙이 백본마다 달랐다는 점이 이 방법의 가장 실용적인 성질이다. 규칙은 모델의 약점을 진단한 결과물이라, 어떤 모델은 계획 부족을, 어떤 모델은 행동 문법 오류를 드러낸다.
• 규칙이 짧은 자연어 문장이라는 것은 사람이 읽고 고칠 수 있는 인터페이스가 생겼다는 뜻이다. 규칙을 바꿔 끼우자 행동이 크게 달라진 실험은 이 인터페이스가 장식이 아님을 보여 준다.
• 같은 모델을 자기 실패로 정렬해 더 큰 모델 기반 기준선을 넘어선 사례는, 협업 성능의 병목이 모델 규모가 아니라 행동 정렬에 있을 수 있음을 시사한다.
• 연구진이 벤치마크와 함께 시각화 도구까지 손본 대목은 눈여겨볼 만하다. 다중 에이전트 협업은 최종 성공률만으로는 무엇이 어긋났는지 알 수 없어, 관찰 도구 자체가 연구 인프라가 된다.

자주 묻는 질문

관련 AI 소식