LLM-as-a-Judge 논문 리뷰: MT-Bench와 챗봇 아레나로 본 AI 모델 평가와 4가지 편향

핵심 메시지

• MMLU 같은 기존 벤치마크는 정답이 정해진 문항 위주라, 사용자가 실제로 중시하는 대화 능력과 지시 수행력을 제대로 재지 못한다는 문제의식에서 출발한 연구다.
• 연구진은 8개 카테고리 80개 다중 턴 질문으로 구성한 MT-Bench와, 익명의 두 모델을 붙여 사용자가 직접 투표하게 하는 크라우드소싱 플랫폼 챗봇 아레나를 함께 내놓았다.
• GPT-4를 채점자로 세운 결과 인간 평가자와의 일치율이 85%로, 사람과 사람 사이의 일치율 81%보다 오히려 높게 나왔다.
• 다만 답변 순서에 따라 판단이 뒤집히는 위치 편향, 길기만 한 답변에 후한 점수를 주는 장황함 편향, 자기가 쓴 답을 높게 보는 자기선호 편향, 수학·추론 채점의 한계가 확인됐다.
• 이 논문은 이후 모델이 스스로를 평가하며 개선하는 메타 리워딩 연구와, 질문 난이도에 따라 모델을 골라 쓰는 라우팅 연구로 이어졌다.

쉽게 이해하기

대형 언어 모델의 성능이 빠르게 좋아지는데도, 기존 벤치마크 점수는 그만큼 오르지 않는 현상이 있었다. 발표에서 다룬 논문은 그 원인을 벤치마크의 성격에서 찾는다. MMLU나 HELM처럼 정답이 정해진 문항을 맞히는 방식은 자동 채점이 쉽지만, 사람들이 실제로 좋아하는 답변이 무엇인지는 담아내지 못한다는 것이다. 2023년 NeurIPS 데이터셋·벤치마크 트랙에 채택된 이 연구는 그래서 개방형 대화를 평가할 새로운 도구 두 가지를 제안한다.

첫 번째가 MT-Bench다. 여덟 개 카테고리에 걸친 80개의 고품질 질문을 다중 턴으로 구성해, 대화를 이어가는 능력과 지시를 따르는 능력을 함께 본다. 두 번째는 챗봇 아레나로, 데이터셋이라기보다 플랫폼에 가깝다. 사용자가 직접 던진 질문에 두 모델이 각각 답하고, 어느 쪽이 나은지 투표하게 한다. 편견을 막기 위해 투표가 끝날 때까지 어떤 모델인지는 공개하지 않는다.

핵심 아이디어는 이렇게 모은 인간 선호 데이터를 기준선으로 삼아, 사람 대신 강력한 언어 모델을 채점자로 세우는 것이다. 발표자는 채점자 모델이 평가 대상보다 반드시 뛰어날 필요는 없다고 짚는다. 좋은 답을 새로 생성하는 일이 어려운 작업이지, 이미 나온 결과물을 견주어 보는 일은 상대적으로 단순하고 집중된 작업이기 때문이다. 논문은 채점 방식을 두 답변을 비교하는 쌍대 비교, 답변 하나에 점수를 매기는 단일 채점, 참조 정답을 함께 주는 방식 세 가지로 정리한다.

신뢰도 검증 결과는 인상적이었다. GPT-4를 채점자로 두었을 때 인간 평가자와의 일치율이 85%로, 사람끼리의 일치율 81%를 넘었다. 더 흥미로운 대목은 판단이 갈렸을 때다. GPT-4의 판단을 사람들에게 보여주고 타당한지 물었더니 75%가 타당하다고 답했고, 33%는 자기 선택을 바꾸는 데까지 동의했다.

물론 만능은 아니다. 발표는 네 가지 한계를 짚는다. 앞에 놓인 답변을 선호하는 위치 편향, 내용 추가 없이 표현만 늘린 답변에 높은 점수를 주는 장황함 편향, 자기가 생성한 답을 우대하는 자기선호 편향, 그리고 정답을 정확히 몰라 수학·추론 문제를 잘못 채점하는 문제다. 논문이 제시한 대응은 답변 위치를 바꿔가며 점수를 평균 내기, 평가 예시를 몇 개 넣어주기, 여러 모델을 채점자로 두기, 사고 사슬과 참조 정답을 프롬프트에 함께 넣기다.

주요 인사이트

• 장황함 편향 실험이 특히 눈에 띈다. 답변 목록을 새 정보 없이 표현만 부풀려 다시 붙이는 방식으로 공격했을 때 GPT-4는 방어에 성공했지만, 나머지 모델들은 더 그럴듯해 보이는 반복 목록에 속아 넘어갔다.
• 자기선호 편향도 모델마다 갈렸다. GPT-4와 초기 클로드는 자기가 만든 답을 더 높게 평가한 반면, GPT-3.5에서는 그런 경향이 나타나지 않았다.
• 위치 편향의 원인으로는 학습 데이터의 특성이나 왼쪽에서 오른쪽으로 읽는 트랜스포머 구조가 거론됐지만, 논문은 이를 확정하지 않고 후속 과제로 남겨두었다.
• 직접 채점자 모델을 만들려면 대규모 데이터가 필요할 것 같지만, 발표에서 소개한 허깅페이스 실습은 품질 좋은 데이터 30개 정도면 프롬프트와 인간 평가의 상관관계를 검증하기에 충분하다고 본다.
• 이 논문의 영향은 평가에 머물지 않는다. 챗봇 아레나 데이터로 라우터를 학습해 쉬운 질문은 작은 모델에, 어려운 질문은 큰 모델에 보내는 연구는 응답 품질을 유지하면서 비용을 절반으로 줄이고 GPT-4 성능의 95%를 달성했다.

자주 묻는 질문

관련 AI 소식