법률 특화 AI LawLLM 정리: 선례 검색과 판결 예측에서 GPT-4를 앞선 방법

핵심 메시지

• 미국은 판례법 체계라 과거 판결이 오늘의 재판을 좌우하지만, 판례 데이터의 양과 난해함 때문에 범용 대형 언어 모델은 맥락을 놓치기 쉽다.
• LawLLM은 글자만 비슷한 ‘유사 판례’와 실제 법적 구속력을 갖는 ‘선례’를 서로 다른 과제로 분리한 점이 핵심이다.
• 선례 관계를 인용 네트워크, 즉 지식 그래프로 구성해 학습시켰고, 텍스트만 비슷한 함정 선택지를 섞어 훈련시켰다.
• 판결 예측에서 모델이 스스로 찾은 판례를 힌트로 준 조건에서 79.4%의 정확도를 기록해 같은 조건의 GPT-4(73.2%)를 앞섰다.
• 없는 판례를 지어내는 환각 비율은 0.1%로, 40%를 넘긴 비교 모델들과 큰 차이를 보였다.

쉽게 이해하기

출발점은 데이터의 늪이다. 영상이 인용한 하버드 로스쿨 판례 데이터베이스 기준으로 주 법원과 연방 법원의 판례는 약 693만 건에 이르고, 판례 하나의 평균 길이도 2,700단어 안팎이다. 분량만 문제가 아니다. 법률 문서는 고도로 전문화된 용어와 일상 문법으로는 해석하기 힘든 구문으로 쓰이고, 19~20세기 판결문은 당시의 역사적·사회적 맥락과 얽혀 있다. 범용 모델이 이 바다에 그대로 던져지면 맥락을 잡지 못한다는 것이 연구진의 문제의식이다.

연구진이 발견한 더 뼈아픈 한계는 따로 있다. 기존 모델들이 ‘표면적으로 비슷해 보이는 사건’과 ‘법적 구속력을 갖는 선례’를 구분하지 못하고 한 바구니에 담아 버린다는 점이다. 법을 전공하지 않은 사람에게는 둘 다 과거의 비슷한 재판 기록처럼 보이지만, 재판 결과를 좌우하는 것은 후자다. LawLLM은 이 둘을 아예 다른 과제로 쪼갠다.

첫 번째는 유사 판례 검색이다. 사건의 내용과 서사가 텍스트 측면에서 가까운 사건을 찾는 작업으로, 판례를 벡터로 바꿔 저장해 두고 거리가 가까운 문서를 가져오는 방식이다. 두 번째인 선례 검색은 성격이 다르다. 어떤 판례가 진짜 선례가 되려면 현재 사건보다 먼저 결론이 난 사건이어야 하고, 실제로 판사가 법적 근거로 고려해 인용한 사건이어야 한다. 여기서 상식을 뒤집는 사실이 등장한다. 완벽하게 들어맞는 선례인데도 표면적인 텍스트나 사건의 줄거리는 전혀 닮지 않을 수 있다는 것이다.

그래서 연구진은 텍스트를 더 많이 읽히는 대신 ‘인용의 족보’를 가르쳤다. 사건 A가 사건 B를 인용하고 B가 C의 법리를 가져왔다는 관계를 지식 그래프로 구성해 모델에 심어 준 것이다. 훈련 방식도 까다롭게 설계했다. 열 개의 판례 선택지를 주되 그중 단 하나만 지식 그래프에서 가져온 실제 인용 선례이고, 나머지는 텍스트만 비슷하게 겹치는 함정 사건으로 채웠다. 표면적 유사성에 기대는 손쉬운 정답 고르기를 원천 봉쇄한 셈이다.

마지막 과제는 판결 예측이다. 사건의 사실관계만 보고 원고 승소, 피고 승소, 합의, 소송 기각 가운데 하나를 맞히는 문제다. 연구진은 곧바로 결과를 묻는 대신, 모델이 스스로 찾아낸 유사 판례와 선례를 눈앞에 힌트로 제시하고 그 맥락 안에서 예측하게 하는 인컨텍스트 러닝을 썼다. 아무 힌트가 없는 제로샷에서도 LawLLM은 GPT-4를 앞섰고, 힌트를 준 조건에서는 정확도가 79.4%까지 올라 같은 조건의 GPT-4가 기록한 73.2%와 6%포인트 이상 벌어졌다.

비용 설계도 눈여겨볼 대목이다. 연구진은 693만 건의 원본을 경량 모델에 그대로 밀어 넣지 않았다. 크고 비싼 GPT-4에게는 방대한 문서에서 핵심 판결 요약과 결과 데이터만 추출하는 전처리를 맡기고, 그렇게 정제된 고순도 데이터로 구글이 공개한 가볍고 빠른 오픈소스 모델을 집중 학습시켰다. 이때 쓰인 것이 전체 신경망을 다시 학습시키는 대신 얇은 학습 모듈만 끼워 넣는 LoRA 방식이다. 연산 비용은 크게 줄이면서 법률 추론이라는 특정 영역에서는 훨씬 큰 모델을 앞서는 결과가 여기서 나왔다.

주요 인사이트

• 이 연구의 진짜 기여는 모델 크기가 아니라 과제 정의에 있다. ‘닮은 것’과 ‘구속력 있는 것’을 분리해 정의한 순간, 검색 문제는 텍스트 유사도 문제에서 권위 관계 추적 문제로 바뀐다.
• 텍스트만 비슷한 함정 선택지 아홉 개를 섞은 훈련 설계는, 모델이 겉모습으로 답을 고르는 습성을 정면으로 겨냥한다. 평가가 아니라 학습 단계에서 이 함정을 쓴다는 점이 특징이다.
• 환각률 0.1%라는 수치는 모델이 텍스트를 상상해 지어내는 대신 지식 그래프라는 사실의 뼈대에 묶여 있다는 방증으로 제시된다. 법률처럼 오답의 대가가 큰 영역에서 정확도만큼 중요한 지표다.
• 큰 모델은 정제에, 작은 모델은 학습에 쓰는 분업 구조는 법률 밖에서도 그대로 응용할 수 있는 설계다. 비싼 모델을 상시 추론에 쓰는 대신 데이터 가공에 한 번 쓰는 발상이다.
• 영상은 마지막에 불편한 질문을 남긴다. 예측 정확도가 더 높아진 AI가 법정의 표준 도구로 자리 잡으면, 인간 판사가 통계적 예측에서 벗어나는 판결을 내리기를 주저하게 되지 않겠느냐는 물음이다. 이는 검증된 결론이 아니라 영상이 던지는 화두다.

자주 묻는 질문

관련 AI 소식