LLM 검증기 진화 정리: GSM8K 결과 보상에서 과정 보상(PRM), 약한 검증기 앙상블까지

핵심 메시지

• 언어모델은 어려운 문제의 답을 여러 번 뽑아내면 그중에 정답이 섞여 있지만, 어느 것이 정답인지 스스로 골라내지 못한다. 이 간극을 메우는 장치가 검증기다.
• 2021년 OpenAI 연구는 초등 수준 수학 문제집 GSM8K를 만들고, 풀이가 맞을 확률을 출력하는 별도의 검증 모델을 학습시켜 단순 미세조정보다 나은 성능을 얻었다.
• 다음 단계인 과정 감독은 최종 답이 아니라 풀이의 각 단계에 점수를 매겨, 과정은 엉망인데 답만 우연히 맞는 거짓 양성을 크게 줄였다.
• 사람이 단계마다 라벨을 다는 비용이 문제가 되자, 특정 단계 이후를 여러 번 이어서 생성해 정답에 도달할 확률로 그 단계의 품질을 자동 추정하는 방식이 나왔다.
• 가장 최근 연구는 성능이 떨어지는 검증기를 여러 개 모아 가중치를 학습하는 접근으로, 작은 생성기와 작은 검증기 조합만으로 훨씬 큰 모델에 필적하는 정확도를 냈다.

쉽게 이해하기

스탠퍼드 대학의 CS329A 세 번째 강의는 '검증(verification)'을 다룬다. 앞선 강의에서 다룬 추론 시점 확장, 즉 같은 문제에 답을 여러 번 생성해 성능을 끌어올리는 기법에는 한 가지 빈틈이 있다. 답을 많이 뽑아 놓으면 그 안에 정답이 들어 있을 확률은 올라가지만, 정작 어느 것이 정답인지 자동으로 고르는 일은 별개의 문제다. 강의는 이 '생성-검증 간극'을 좁혀 온 연구 네 편을 시간순으로 따라간다.

출발점은 2021년 OpenAI의 수학 문제 검증기 연구다. 당시 문제의식은 지금도 유효하다. 모델이 틀린 풀이를 자신 있게 내놓는다는 것이다. 이 연구는 여러 단계의 추론이 필요한 초등 수준 수학 문제 모음 GSM8K를 함께 공개했는데, 강의자는 이 데이터셋이 지금도 작은 모델을 평가할 때 쓸모가 있고 수강생이 각자 프로젝트의 평가 기준을 짤 때 참고할 만하다고 권한다. 핵심 기여는 풀이가 맞을 확률을 내놓는 검증 모델을 따로 학습시킨 것이다. 실험에서는 학습 데이터가 충분히 커질수록 검증기 방식이 미세조정만 한 모델을 앞질렀고, 생성기를 크게 하고 검증기를 작게 두는 쪽이 그 반대보다 나았다.

다만 답을 무한정 많이 뽑는다고 좋아지지는 않았다. 문제당 생성 개수를 늘리면 어느 지점까지는 검증기가 이득을 주지만, 그보다 더 늘리면 검증기가 진짜 좋은 답을 추적하지 못했다. 답을 많이 뽑아 다수결로 고르는 방식은 그보다 훨씬 이른 지점에서 한계에 부딪힌다. 채점 장치의 정밀도가 확장의 상한을 정하는 셈이다.

두 번째 논문은 최종 답이 아니라 풀이 단계마다 사람이 라벨을 붙이는 과정 감독을 제안했다. 각 단계에 점수를 매기고 곱해 전체 풀이의 신뢰도를 계산하는 방식이다. 이 접근의 실질적 이점은 거짓 양성 관리다. 모델이 중간에 헛소리를 하고도 최종 숫자만 맞히는 일이 실제로 드물지 않은데, 단계마다 감독하면 그런 답을 걸러낼 수 있다. 연구진은 최종 답은 맞지만 중간 단계가 틀린 '그럴듯하게 틀린' 샘플에 우선순위를 둬 라벨링 효율을 크게 끌어올렸고, 결과물인 단계별 라벨 데이터셋을 공개했다.

세 번째는 사람 주석을 걷어내는 시도다. 어떤 단계의 품질을, 그 단계 이후로 여러 번 이어서 생성했을 때 최종 정답에 닿는 비율로 정의한다. 한 번이라도 정답에 닿으면 성공으로 보는 방식과, 도달 비율을 그대로 점수로 쓰는 방식 두 가지가 제시됐고, 이렇게 얻은 보상 모델을 강화학습 루프에 넣어 생성기 자체를 개선하는 데까지 나아간다.

마지막은 스탠퍼드에서 나온 최신 연구로, 방향을 뒤집는다. 좋은 검증기 하나를 만드는 대신 성능이 그저 그런 검증기를 여러 개 모으는 것이다. 라벨을 1%만 쓰는 비지도 방식조차 단순 평균 앙상블이나 다수결, 프롬프트로 점수를 매기는 방식보다 뚜렷하게 나았다. 강의에서 제시된 수치로는 40%대 초반이던 정확도가 70%를 넘겼고, 8B급 생성기와 8B 이하 검증기 풀만으로 훨씬 큰 모델을 쓰는 것에 견줄 만한 결과를 냈다.

주요 인사이트

• 검증은 생성보다 쉬운 과제라는 직관이 실험으로 뒷받침된다. 생성기를 크게 하고 검증기를 작게 두는 배분이 그 반대보다 나았고, 두 모델의 크기를 어떻게 나누는 것이 최적인지는 아직 열린 연구 주제로 남아 있다.
• '답만 맞으면 된다'는 채점 기준은 모델에게 잘못된 신호를 준다. 과정 감독이 중요한 이유는 정확도 숫자보다도, 우연히 맞은 답을 성공으로 세지 않는다는 데 있다.
• 라벨링 비용은 연구 방향 자체를 바꾼다. 사람이 단계마다 채점하는 방식에서 모델이 스스로 이어 풀어 보며 단계 품질을 추정하는 방식으로 넘어간 것이 대표적이다.
• 추론 시점에 자원을 더 쓰는 방법에는 여러 갈래가 있다. 생성 샘플을 늘릴 수도, 생성기나 검증기를 키울 수도, 검증기 풀을 넓힐 수도 있다. 고정된 연산 예산을 어디에 배분할지가 실무의 선택지가 된다.
• 약한 검증기를 잘 조합하면 모델 등급 차이를 어느 정도 메울 수 있다. 큰 모델을 부르는 대신 작은 모델 여러 개로 같은 수준에 도달하는 길이 열린다는 뜻이다.

자주 묻는 질문

관련 AI 소식