물리 추론 벤치마크 설계: 정답이 아니라 풀이 과정과 힌트 반응까지 채점하는 LLM 평가 방법

핵심 메시지

• 기존 물리·과학 벤치마크는 객관식이라 확장과 채점은 쉽지만, 지식 인출을 물을 뿐 실제 연구 워크플로를 반영하지 못한다.
• 연구팀은 하나의 문제를 난도가 올라가는 다섯 개의 하위 문제 사슬로 쪼개고, 선택한 답과 그 근거를 함께 채점한다.
• 틀리면 힌트를 주고 다시 풀게 하는 피드백 루프로 지도교수와 학생 사이의 상호작용을 흉내 낸다.
• 사슬 구조와 근거 채점 덕분에 무작위로 찍었을 때 기대되는 최저 점수가 25%에서 4%로 내려간다.
• 최신 세대 모델은 직전 세대 대비 추론 점수가 약 60% 올랐지만 정답 정확도에서는 같은 흐름이 보이지 않았다.

쉽게 이해하기

발표자는 미시간대에서 계산물리를 공부하는 석사과정 학생으로, 지난 1년간 아르곤 국립연구소와 함께 물리 과제를 위한 벤치마크를 만들었다. 출발점은 단순하다. 연구자들이 반복 작업뿐 아니라 연구 아이디어 구상, 문제 해결, 발표 자료와 논문 작성에까지 이 도구들을 쓰기 시작했다는 것이다. 연구자가 자신의 신뢰도를 지키려면 도구가 어떤 과정을 거쳐 답에 도달했는지 알 수 있어야 한다.

기존 평가 방식은 딜레마를 안고 있다. 객관식은 만들기 쉽고 점수를 백분율로 표준화할 수 있어 널리 쓰이지만, 실제 연구자가 도구나 동료와 주고받는 상호작용과는 거리가 멀다. 사람이 채점하면 신뢰도는 높지만 물어볼 수 있는 전문가와 문항 수가 제한된다. 반대로 LLM에 채점을 맡기면 수백 문항을 여러 분야에 걸쳐 만들 수 있지만 LLM이 LLM을 심판한다는 문제가 생긴다.

실제 사례를 보면 차이가 분명하다. 학부 물리 문제나 대학원 수준 과학 문제는 검색하거나 학습 데이터에서 찾을 수 있는 지식 인출에 가깝다. 반면 연구 수준 수학 벤치마크는 복잡성과 기술적 깊이를 갖췄지만 해당 분야 전문가가 직접 만들어야 해서 규모가 작고, 열린 형식이라 확장하기도 어렵다. 연구팀의 질문은 이것이었다. 답을 모르는 새로운 연구 문제에서 사람은 무엇을 '올바른 풀이'라고 부르는가.

그 답으로 문제를 난도가 점점 올라가는 여러 단계로 분해했다. 1.2단계에 가려면 1.1단계를 맞혀야 하고, 각 단계에서 선택한 보기뿐 아니라 함께 제시한 풀이 근거까지 비교한다. 예를 들어 양자장론의 다이어그램과 루프 계산을 묻는 문항에서 특정 오답을 고르면 질량 차원을 잘못 썼다는 자동 힌트가 먼저 주어진다. 그래도 실패하면 LLM 심판이 교사처럼 더 나은 접근법을 제시한다. 근거가 준비된 문장과 정확히 일치하지 않아도 올바른 개념과 수학적 방법을 언급했는지는 따로 확인한다.

측정 규모는 모델 8종, 객관식 800문항, 즉 160개의 사슬 문제이며 문항마다 15회씩 독립적으로 반복해 총 20억 토큰을 썼다. 평가 축은 근거 품질, 정답 여부, 그리고 지연 시간·토큰 수·재시도 횟수 같은 메타 지표다. 토큰 수는 공급사가 발표한 값이 제각각이라 믿지 않고 출력된 근거 길이에서 직접 환산했다. 평가 분야는 우주론과 통계역학, 응집물질이론 등으로 성능은 대체로 균일했고 천체물리가 조금 높고 양자역학이 조금 낮은 정도의 5% 남짓한 편차만 보였다.

주요 인사이트

• 자기 자신에게 후한 점수를 주는 편향을 줄이기 위해 심판을 하나의 모델이 아니라 서로 다른 계열의 모델 세 개로 구성한 배심으로 운영한다.
• 채점 루브릭은 일관성과 기술적 정확성, 구체성, 올바른 출처 인용, 자기 점검을 가점하고 뭉뚱그린 일반론이나 설명 없는 수식 나열을 감점한다.
• 로그 분석에서 세 가지 실패 유형이 드러났다. 힌트를 줘도 근거가 개선되지 않는 경우, 방법은 맞는데 수치가 틀린 경우, 그리고 정답은 맞았는데 근거가 그에 대응하지 않는 경우다.
• 세 번째 유형은 내부 계산과 밖으로 내놓은 설명이 어긋난다는 뜻이라, 정답률만 보는 평가로는 결코 잡아낼 수 없는 문제다.
• 확장 방향으로는 물리적 맥락이 있는 상황에서의 에이전트 평가, 그리고 이 피드백 루프를 상업용 도구 대신 자체 도구를 다듬는 강화학습 무대로 쓰는 방안이 제시됐다.

자주 묻는 질문

관련 AI 소식