AI 에이전트 평가법: 화학·물리 도메인에서 정답 대신 중간 과정을 나눠 채점하는 이유

핵심 메시지

• 화학·물리처럼 전문 도메인에서 움직이는 AI 에이전트는 작은 오류가 뒤로 계속 전파되는 연쇄 실패가 일어나기 쉬워, 최종 답만 맞혔는지로는 능력을 판단할 수 없다.
• 정답의 형태가 수식, 수치, 코드, 도구 출력 등으로 제각각이고 실험 설계의 타당성처럼 주관적 판단이 끼어들기 때문에 정량화가 특히 어렵다.
• 해법은 구조화가 가능한 부분은 별도 지표로 분리하고, 애매한 부분에만 대형 언어 모델을 심판으로 쓰는 방향이다.
• 도구를 쓰는 에이전트는 도구 선택, 파라미터 채우기, 반환값 처리, 최종 응답을 각각 나눠 채점해야 실패 원인을 알 수 있다.
• 물리 법칙 발견 실험에서는 관측 노이즈가 아주 조금만 들어가도 구조를 맞히는 정확도가 크게 떨어져, 데이터를 잘 맞히는 능력과 법칙 구조를 찾아내는 능력이 별개임이 드러났다.

쉽게 이해하기

서울대학교 산업공학과 DSBA 연구실의 이번 세미나는 특정 도메인에 특화된 AI 에이전트를 어떻게 평가할 것인가를 주제로 논문 세 편을 소개한다. 발표자는 일반적인 언어 모델 에이전트가 지시를 따르거나 검색과 간단한 도구 호출을 하는 수준에 머물렀다면, 화학이나 물리 같은 도메인에서는 전문 지식과 외부 도구, 실험 환경, 구체적인 수치 계산이 한꺼번에 결합된다고 설명한다. 그래서 최종 답변만이 아니라 거기에 이르는 과정, 즉 추론 궤적이 중요해진다.

평가가 어려운 이유는 여러 겹이다. 정답이 수식일 수도, 수치일 수도, 코드나 도구 출력일 수도 있어 표현이 다양하고, 우연히 맞았거나 잘못된 공식을 거쳐 답에 도달했을 가능성도 있다. 도구 사용만 해도 어떤 도구를 고를지, 파라미터를 어떻게 채울지, 결과를 어떻게 종합할지를 따로 봐야 하며, 실험 설계가 과학적으로 타당한지 같은 판단에는 주관이 개입한다.

첫 번째 논문은 화학 추론에서 메모리와 자기 수정이 정확도를 높일 수 있는지를 다룬다. 사람처럼 이전에 푼 문제의 풀이 패턴을 라이브러리에 저장해 두고, 새 문제를 하위 과제로 쪼갠 뒤 유사한 기억을 검색해 재활용하는 구조다. 메모리는 문제 해결 순서와 전략을 담는 계획 메모리, 구체적 풀이를 담는 실행 메모리, 공식과 원리를 담는 지식 메모리로 나뉘며, 발표자는 성능이 기반 모델 하나가 아니라 모델과 메모리 품질, 평가자의 결합에서 나온다고 정리한다.

두 번째 논문은 화학 도구를 쓰는 에이전트를 위한 벤치마크를 제안한다. 여기저기 흩어져 있던 외부 도구 137개를 모아 메타데이터와 문서를 표준화하고, 도구 하나로 풀리는 질의와 여러 도구를 순차 호출해야 하는 질의를 나눠 구성했다. 탐색에는 계층적 몬테카를로 트리 탐색을 쓰고, 각 추론 단계의 품질을 보는 프로세스 보상 모델과 최종 답변을 보는 결과 보상 모델을 함께 두어 언어 모델 심판을 외부 채점자가 아니라 에이전트 내부의 비평가로 끌어들였다.

세 번째 논문 NewtonBench는 에이전트가 실제로 실험을 하며 법칙을 발견할 수 있는지를 묻는다. 기존 벤치마크가 정적인 함수 피팅에 가깝다는 문제의식에서, 12개 물리 도메인의 잘 알려진 법칙에서 출발해 연산자와 지수, 상수를 변형하되 차원 일관성은 유지하는 방식으로 108개의 변형 법칙을 만들고 난이도 세 단계를 곱해 총 324개 과제를 구성했다. 평가는 제출한 식이 정답과 수학적으로 동치인지를 보는 기호적 정확도와 예측 오차를 함께 쓰며, 동치 판정에는 언어 모델 심판을 사용해 전문가와 98.3%의 일치율을 보고했다.

주요 인사이트

• 발표의 결론은 한 문장으로 요약된다. 도메인 에이전트 벤치마크의 핵심은 정답 자체가 아니라 발견과 추론, 실행 과정의 타당성이다.
• 언어 모델을 심판으로 쓰는 방식은 편향과 도메인 오류, 숨은 추론 오류, 거짓 양성 문제를 안고 있다. 그래서 세 논문 모두 구조화 가능한 항목은 정형화된 지표로 떼어 내고, 모호한 판단에만 언어 모델을 제한적으로 투입한다.
• 심판의 신뢰성 자체도 검증 대상이다. NewtonBench가 전문가와의 일치율을 함께 보고한 것처럼, 채점자를 도입했다면 사람과 얼마나 맞는지를 근거로 제시해야 한다.
• 메모리 품질이 성능을 좌우한다. 더 강한 모델이 만든 기억을 쓴 쪽이 약한 모델이 만든 기억을 쓴 쪽보다 결과가 좋았는데, 이는 에이전트의 성능이 모델 선택만의 문제가 아님을 보여 준다.
• 강한 모델일수록 코드 도구를 주었을 때 오히려 평균 성능이 떨어지는 구간이 있었다. 발표자는 초기에 나온 결과에 금방 만족해 피팅을 끝내 버리는 경향으로 해석한다.

자주 묻는 질문

관련 AI 소식