LEXam 벤치마크 분석: 로스쿨 시험 340개로 측정한 대형 언어 모델의 법률 추론 한계

핵심 메시지

• 모델 제공사들은 새 모델을 낼 때 수학·코드·장문 처리 성능은 보여주지만 법률 추론은 거의 평가하지 않는다는 문제의식에서 출발한 연구다.
• LEXam은 로스쿨 시험 340개, 116개 과목에서 뽑은 문항으로 구성되며 서술형 약 2,800문항과 객관식 약 2,000문항을 담고 있다.
• 서술형은 참조 답안과 비교해 추론 과정과 결론을 함께 채점하며, 채점자 역할을 맡은 모델은 인간 법률 전문가와의 일치도로 검증했다.
• 오답 보기를 늘리기만 해도 최고 성능 모델의 정확도가 절반 수준으로 떨어져, 상당 부분이 추측에 기대고 있음을 시사했다.
• 추론 예산을 늘려도 법률 영역에서는 성능이 오르지 않고 오히려 소폭 떨어지는 현상이 관찰됐다.

쉽게 이해하기

발표자는 최근 몇 년 사이 추론 벤치마크 점수가 빠르게 올랐지만 법률 영역은 사정이 다르다고 지적한다. 널리 쓰이던 기존 법률 벤치마크는 이미 2년이 지났고 정확도가 85%를 넘나들며 포화 상태에 가까워졌다. 게다가 기존 벤치마크는 대부분 객관식이라 실제 변호사의 업무와 거리가 멀고, 장문 서술형 법률 추론을 다루는 평가가 사실상 없었다는 것이다.

LEXam은 스위스 대학들이 온라인에 공개해온 법학 시험지를 원자료로 삼았다. 시험지를 전처리해 서술형과 객관식으로 나누고, 과목 수준과 법 영역 같은 메타데이터를 붙였다. 공법·사법·형법 등으로 분류되며 스위스법이 중심이지만 국제법과 일반 법리 문항도 포함된다. 언어는 영어와 독일어 두 가지다.

채점 방식이 이 연구의 까다로운 부분이다. 객관식은 정답 선택 여부로 간단히 채점되지만, 서술형은 교수나 우수 답안을 참조 답안으로 두고 모델의 답변과 비교해 0에서 1 사이 점수를 매긴다. 연구진은 법학 석사를 마친 전문가 세 명의 채점과 대조해 채점 모델을 보정했고, 한 명을 빼고 나머지와 비교하는 설계로 채점 모델이 사람만큼 일관된지 검증했다.

채점자를 한 모델에 맡기면 자기 계열 모델에 후한 점수를 주는 편향이 나타났다. 그래서 여러 모델의 판정을 묶는 방식으로 이를 완화했고, 재현성을 위해 공개 모델만으로 구성한 조합도 쓸 만하다는 결과를 얻었다. 본 평가 대상은 26개 모델이었으며, 전반적으로 추론형 모델이 앞섰고 영어 문항이 독일어 문항보다 쉬웠으며 스위스법 문항이 국제법이나 일반 법리보다 어려웠다.

흥미로운 실험도 이어졌다. '틀린 것을 고르라'는 부정형 질문에서 성능이 눈에 띄게 떨어졌고, '해당 없음'류 선택지가 있을 때도 정확도가 낮아졌다. 오답 보기를 추가하는 것만으로 성능이 급락한 결과와 함께 보면, 모델이 여전히 소거와 추측에 기대고 있다는 해석이 가능하다. 반대로 여러 상위 모델이 똑같이 '틀린' 답을 냈던 문항을 다시 들여다보다가 원자료의 오류를 찾아내 고친 사례도 있었다.

주요 인사이트

• 법은 지역적이라는 성질 때문에 하나의 전역 벤치마크로는 부족하다. 같은 모델도 관할에 따라 성능이 크게 달라진다는 점이 실제 수치로 확인됐다.
• '모르겠다'를 선택지로 넣고 오답에 감점을 주자 모델 간 성향 차이가 드러났다. 일부 계열은 기권을 거의 하지 않는 과신 경향을 보였고, 기권율이 가장 높은 모델조차 그 비율은 5%에 못 미쳤다.
• 추론을 더 오래 시킨다고 모든 영역이 좋아지지는 않는다. 발표자는 추론 최적화가 수학·과학 과제에 맞춰져 있거나, 검증하기 어려운 영역에서 오래 생각할수록 그럴듯한 오류가 늘어날 가능성을 추정으로 제시했다.
• 여러 강한 모델이 일제히 같은 오답을 낼 때 데이터 자체를 의심해보는 방식은 벤치마크 품질 관리 도구로 쓸 만하다.
• 채점을 모델에 맡길 때 계열 편향은 실재한다. 단일 채점자 대신 서로 다른 계열을 묶는 것이 실용적인 완화책이었다.

자주 묻는 질문

관련 AI 소식