소형 언어모델 추론 개선: 외부 보상 모델 없이 자기비평으로 트리를 탐색하는 A* 기법

핵심 메시지

• 소형 언어모델은 비용·지연·연산량 면에서 유리해 실제 서비스에서 선호되지만, 복잡한 추론 능력이 부족하다는 약점이 있다.
• 기존 해법인 지식 증류는 거대한 교사 모델을 확보해 돌려야 하고, 몬테카를로 트리 탐색류는 학습과 운영이 까다로운 외부 보상 모델을 필요로 한다.
• 제안된 방법은 추론을 트리 탐색으로 보되, 외부 평가자 대신 모델이 자기 답에 0~100점을 매기는 자기비평을 A* 비용 함수의 휴리스틱으로 사용한다.
• 수학 추론 벤치마크 실험에서 같은 소형 모델을 쓰는 다른 테스트 타임 기법들보다 정확도가 높았고, 동일한 토큰 수와 동일한 시간 기준으로도 3~4%포인트 개선이 확인됐다.
• 발표자의 후속 연구는 인과적 강화학습으로, 에이전트가 상관관계를 넘어 원인과 결과를 구분하게 만드는 크레딧 할당 문제를 다룬다.

쉽게 이해하기

와이콤비네이터가 스타트업 스쿨에서 처음 연 머신러닝 세션에서, 연구자 알렉스 브레이버먼이 소형 언어모델의 추론을 개선하는 연구를 발표했다. 학회에 제출하고 뉴립스 워크숍에 채택된 이 연구의 문제의식은 단순하다. 비용과 지연이 낮아 현장에서 자주 선택되는 작은 모델에, 어떻게 하면 좋은 추론 능력을 붙여줄 수 있느냐는 것이다.

그는 기존 접근을 두 갈래로 정리했다. 하나는 수천억 파라미터급 교사 모델의 지식을 작은 학생 모델로 옮기는 증류인데, 애초에 그런 대형 모델에 접근해 실행할 수 있어야 하고 학습에 시간과 자원이 든다. 다른 하나는 여러 경로를 뽑아 평가한 뒤 가장 나은 답을 고르는 트리 탐색인데, 평가를 담당할 외부 보상 모델을 따로 학습하고 호스팅해야 한다는 부담이 있다.

제안된 테스트 타임 A*는 추론을 목적지 노드를 찾아가는 탐색으로 보되, 외부 평가자를 없앤 것이 핵심이다. 예컨대 모델에게 답을 만들게 한 뒤 같은 모델에 '이 질문과 이 답에 0에서 100 사이 몇 점을 주겠느냐'고 되묻는 자기비평 점수를 얻고, 이 점수를 A* 방식의 비용 함수에 넣는다. 루트 노드에서 시작해 비용이 가장 낮은 노드를 골라 자식을 확장하는 순환을 반복하며 정답 노드에 도달하면 최종 답을 낸다.

발표자는 같은 깊이의 두 갈래 중 하나가 잘려 나가는 예시로 직관을 설명했다. 깊이가 같다면 둘을 가르는 요소는 자기비평 점수뿐이고, 모델이 자기 답이 근거 없이 지어낸 것에 가깝다고 판단한 쪽은 더 이상 탐색되지 않는다. 남은 가지를 계속 확장해 나가면 수학 서술형 문제에서도 정답 경로에 도달하는 과정을 트리로 시각화할 수 있다.

평가는 초등·고교 수준 수학 문제 데이터셋을 포함한 수학 추론 벤치마크에서 이뤄졌으며, 비교 대상은 모두 동일한 약 40억 파라미터 규모 모델 위에서 돌린 다른 테스트 타임 기법들이었다. 테스트 타임 기법은 시간과 자원을 더 써서 정확도를 올리는 것 아니냐는 반문에 대해, 그는 토큰 수와 소요 시간을 같게 맞춘 절제 실험을 제시하며 각각 3~4%포인트와 3%포인트의 향상을 보였다고 밝혔다.

주요 인사이트

• 외부 보상 모델을 없앤다는 것은 단순한 성능 개선이 아니라 배포 구조의 단순화다. 모델 하나만 서빙하면 되므로 소형 모델을 택한 이유였던 비용과 운영 편의가 훼손되지 않는다.
• 테스트 타임 기법을 평가할 때는 정확도만 보면 안 된다. 토큰 수와 시간을 고정한 비교가 없으면 그저 자원을 더 태워 얻은 향상과 구분되지 않는다.
• 모델이 자기 답을 채점하게 하는 자기비평은 완벽한 판정자가 아니어도 쓸모가 있다. 어느 가지를 먼저 볼지 정하는 상대적 우선순위만 제공하면 탐색의 방향을 잡기에 충분하다.
• 발표자가 후속 과제로 든 크레딧 할당은 에이전트가 여러 단계를 거칠수록 어떤 행동이 결과를 만들었는지 짚기 어려워지는 문제로, 상관을 넘어 인과를 다루려는 시도가 필요한 지점이다.

자주 묻는 질문

관련 AI 소식