JudgmentBench: 법률 AI 품질 평가, 비교 판단이 루브릭 채점을 이긴 이유

핵심 메시지

• 법률·금융 같은 전문 지식 노동은 정답이 객관적으로 딱 떨어지지 않아, 무엇을 좋은 결과물로 볼지 ‘판단’에 의존한다.
• 평가 방식은 크게 두 가지다. 두 결과물을 나란히 놓고 어느 쪽이 나은지 고르는 비교 판단과, 하나의 결과물을 미리 정한 항목으로 채점하는 루브릭 방식이다.
• 50여 명의 변호사가 참여해 30개 법률 과제 위에 3천 건 넘는 비교·루브릭 주석을 붙인 JudgmentBench 데이터셋으로 두 방식을 직접 견줬다.
• 비교 판단이 의도한 품질 순위를 훨씬 안정적으로 복원했고(판단별 정확도 67% 대 54%), 채점 시간도 절반 수준이었다.
• 이는 벤더 툴을 고르거나 모델을 후속 학습할 때 어떤 형태의 사람 데이터를 사는 것이 비용 대비 효과적인지에 직접 영향을 준다.

쉽게 이해하기

발표자는 평가를 ‘과학’과 ‘예술’의 스펙트럼으로 설명한다. 화학처럼 정답이 검증 가능한 쪽이 과학이라면, 미술관의 그림처럼 체크리스트 없이 전체 인상으로 좋고 나쁨을 가르는 쪽이 예술이다. 문제는 법률·컨설팅·의료 같은 지식 노동을 사람들이 근거 없이 ‘예술처럼’ 혹은 ‘과학처럼’ 다뤄왔다는 점이다.

연구진은 Harvey가 만든 Big Law Bench(전문가가 설계한 100개 과제와 과제별 루브릭)를 토대로 30개 과제를 골라 JudgmentBench를 구축했다. 여기에 파트너·카운슬급 20%, 시니어 어소시에이트 40% 등 경력 분포를 갖춘 50여 명의 변호사가 3천 건 넘는 주석을 달았다.

품질이 다른 결과물은 프롬프트로 ‘우수·양호·중간’ 세 등급을 생성해 만들었다. 이 방식은 실제 사람이나 모델이 만든 결과물의 품질 차이를 그대로 대변하지 못한다는 한계가 있어, 연구진은 LLM 심사와 현직 빅로 파트너 확인으로 등급 차이를 검증했다.

핵심 결과는 명확했다. 비교 판단이 루브릭보다 품질 순위를 더 신뢰성 있게 복원했다. 판단별 승률 지표에서는 67% 대 54%였고, 순위 상관(스피어만) 지표에서는 비교 판단이 의도한 순서를 거의 완벽히 복원한 반면 루브릭은 매우 부진했다. 이는 각 판단의 정확도가 50%를 조금만 넘어도 여러 사람의 판단이 모이면(군중의 지혜) 순위가 안정적으로 수렴하기 때문이다.

실무적 함의도 크다. 비교 판단은 채점 시간이 루브릭의 약 절반이었다. 전문가의 시간이 비싼 만큼, 로펌이 경쟁 벤더의 툴을 고를 때도 미리 정한 플레이북으로 채점하기보다 변호사들의 선호 피드백을 모으는 편이 낫다는 결론으로 이어진다.

주요 인사이트

• 정답이 주관적인 영역일수록, ‘무엇이 좋은지’를 항목으로 미리 열거하는 것보다 결과물 두 개를 견주게 하는 편이 사람의 암묵적 품질 감각을 더 잘 끌어낸다.
• 비교 판단은 개별 정확도가 완벽하지 않아도 다수의 독립적 판단이 모이면 순위가 진짜 값으로 수렴한다 — 이 ‘군중의 지혜’ 효과가 루브릭 대비 우위의 핵심이다.
• 평가 방식 선택은 학술적 문제가 아니라 비용 문제다. 같은 신호를 더 싸게 얻는 것이 데이터 라벨링의 관건이며, 비교 판단은 시간이 절반이라 그 점에서도 유리하다.
• 다만 품질 등급을 프롬프트로 만든 점, 루브릭과 선호를 완전히 동등한 조건에 놓았는지 등은 남은 과제이며, 향후 비교 판단 데이터를 정답 삼아 더 나은 루브릭을 자동 생성하는 연구로 이어질 수 있다.

자주 묻는 질문

관련 AI 소식