AI VIDEO BRIEFING

보상 모델과 Best-of-N 완전 정리: CMU 강의로 보는 LLM 선호 학습의 원리와 함정

CMU 고급 NLP 강의가 다룬 Best-of-N과 보상 모델의 원리를 정리했습니다. 기각 표집과의 관계, 생성형 보상 모델의 비일관성, 길이 편향 같은 실제 함정, 그리고 선호 데이터를 지금 누가 만드는지까지 다룹니다.

출처: Graham Neubig2025년 10월 20일AI 보조 요약

여러 번 답하게 하고 제일 나은 걸 고른다: 보상 모델과 Best-of-N 강의 정리 영상 대표 이미지

핵심 메시지

Best-of-N은 '여러 개 뽑아서 제일 좋은 것 고르기'라는 단순한 방법이지만, 직접 표본을 얻기 어려운 인간 선호 분포에 다가가려는 기각 표집의 변형으로 이해할 수 있다.
여기서 '무엇이 좋은가'를 판정하는 것이 보상 모델이며, 전통적으로는 두 답을 비교하는 브래들리-테리 손실로 학습한 점수 예측 모델을 쓴다.
최근에는 언어모델 자체에게 우열을 묻는 생성형 보상 모델이 늘었는데, 유연한 대신 호출마다 결과가 흔들리고 제시 순서에 민감하며 A>B, B>C인데 A>C가 아닌 비이행성이 나타난다.
사람이 라벨을 달다 보니 긴 답을 더 자세하고 충실하다고 여기는 편향이 그대로 들어가, 내용이 나아지지 않아도 길이만 늘면 보상이 올라가는 문제가 생긴다.
선호 데이터의 출처는 크라우드소싱에서 전문 계약직, 그리고 사용자의 재시도·엄지 버튼·체류 시간 같은 실사용 신호로 옮겨왔고, 그만큼 '누구의 선호가 반영되는가'도 계속 바뀐다.

쉽게 이해하기

카네기멜런대 고급 NLP 수업의 이 회차는 이름만 보면 시시해 보이는 Best-of-N을 한 시간 내내 다룬다. 강의자는 이 단순한 기법을 통계학의 기각 표집과 보상 모델이라는 더 큰 주제로 들어가는 통로로 삼는다. 기각 표집은 직접 표본을 뽑기 어려운 목표 분포 대신 다루기 쉬운 제안 분포에서 표본을 뽑고, 각 점을 일정 확률로 받아들이거나 버려서 목표 분포에서 나온 것처럼 보이는 표본을 만드는 기법이다.

언어모델에서 목표 분포에 해당하는 것이 바로 인간 선호다. 식으로 적기도, 직접 표본을 뽑기도 어렵다. 다만 강의자는 우리가 원하는 것이 '선호 분포를 닮은 표본 다발'이 아니라 '그중 가장 높은 봉우리 하나'라는 점을 짚는다. 수천 토큰짜리 문장 공간에서 최댓값을 직접 찾을 수는 없으니, 언어모델을 제안 분포로 삼아 N개를 뽑고 다른 기준으로 순위를 매겨 가장 나은 하나를 돌려주는 방식이 Best-of-N이다.

N을 얼마로 둘지에 대해서는 널리 인용되는 상한식이 있다. Best-of-N 출력 분포와 목표 분포 사이의 KL 발산이 log N − (N−1)/N 이하라는 식인데, 강의자는 이것이 흔히 정확한 값처럼 인용되지만 실제로는 느슨한 상한이며 현실에서 발생하는 몇몇 경우에는 맞지 않는다는 후속 연구가 있다고 소개한다. 그럼에도 N이 커질수록 목표 분포에 가까워진다는 방향성 자체는 유효하다.

보상 모델을 만드는 고전적인 방법은 강한 언어모델의 출력 헤드를 떼어내고 분류기를 붙인 뒤, 채택된 답과 기각된 답의 쌍으로 학습하는 것이다. 최근에는 모델에게 곧바로 '둘 중 어느 쪽이 낫냐'고 묻는 생성형 보상 모델이 늘었는데, 이는 LLM-as-a-judge와 상당 부분 겹친다. 별도 학습 없이 API 모델도 쓸 수 있고 기준이 바뀌면 프롬프트만 고치면 되지만, 대신 호출 간 비일관성·입력 순서 민감성·비이행성이라는 대가를 치른다.

강의 후반부는 이 파이프라인의 약한 고리들을 짚는다. 사람은 긴 답을 더 좋게 보는 경향이 있어 보상 모델도 길이에 후한 점수를 주고, 그래서 RLHF에서는 길이 페널티 같은 보정을 넣는다. 또 보상 모델은 완성된 문장에 대해 학습되므로 문장 중간 토막에 적용하면 점수가 요동친다. '무지개 색을 하나 말해 보라'처럼 우열을 가릴 수 없는 질문에서는 억지 순위가 만들어지므로, 무승부를 포함한 벤치마크로 모델이 0.5 근처를 답하는지 확인하는 것이 좋다는 조언이 이어진다.

주요 인사이트

제안 분포가 목표 분포에 가까울수록 기각률이 낮아진다는 통계학의 직관은, '생성 모델이 이미 좋으면 Best-of-N에 적은 표본만 써도 된다'는 실무 감각과 정확히 같은 이야기다.
보상 모델은 정답 여부보다 문체·장황함·상호작용 방식 같은 취향을 담는 장치다. 사실성은 사전학습과 지도 미세조정에서 확보하고, 선호 학습은 그 위에서 '어떻게 말할지'를 정한다는 역할 분담이 강의 전반에 깔려 있다.
모델이 자기 정체를 어떻게 말할지, 어떤 질문을 거절할지 같은 결정은 결국 라벨링 지침을 쓴 사람의 판단이며, 회사마다 답이 다른 정책적 선택이라는 점이 인상적이다.
응답이 중간에 잘리는 콘텐츠 필터는 모델 안에 학습된 것이 아니라 사후에 적용되는 별도 판정기라는 설명은, 같은 보상 모델 계열 기술이 안전성 필터로도 쓰인다는 것을 보여준다.
보상 모델은 생성 모델과 같은 계열일 때 더 잘 맞는데, 두 분포가 비슷해 서로 높은 점수를 주는 영역이 겹치기 때문이다. 다만 같은 계열이면 같은 약점도 공유해 그대로 주입될 수 있다는 반론도 강의에서 함께 다뤄진다.

자주 묻는 질문

Best-of-N은 구체적으로 어떤 절차인가요?

언어모델에서 N개의 후보 답을 표집한 뒤, 원래 모델의 로그 확률이 아닌 별도의 기준(대개 보상 모델 점수)으로 순위를 매겨 가장 높은 하나를 최종 출력으로 내놓는 방식입니다. 강의에서는 이를 학습 없이 추론 시점에 정렬을 시도하는 방법으로 설명합니다.

생성형 보상 모델의 단점은 무엇인가요?

호출마다 답이 달라질 수 있고, 두 후보의 제시 순서를 바꾸면 판정이 뒤집히기도 하며, A가 B보다 낫고 B가 C보다 나은데 A와 C를 비교하면 C를 고르는 비이행성이 나타납니다. 프롬프트 형식이 조금만 바뀌거나 API 모델이 뒤에서 갱신돼도 결과가 흔들릴 수 있습니다.

보상 모델의 길이 편향은 왜 생기나요?

라벨링 지침이 촘촘하지 않으면 사람은 긴 답을 더 자세하고 포괄적이라고 평가하는 경향이 있고, 그 편향이 학습 데이터에 그대로 남습니다. 그 결과 내용이 더 낫지 않거나 심지어 틀린 답이라도 길기만 하면 높은 보상을 받게 되어, RLHF 과정에서 출력이 계속 길어지는 현상이 나타납니다.

선호 데이터는 지금 누가 만들고 있나요?

강의에 따르면 초기에는 크라우드소싱 플랫폼 작업자들이, 이후 몇 년은 데이터 라벨링 회사의 계약직이, 최근에는 수학 증명 비교처럼 특정 분야 전문가가 맡는 비중이 커졌습니다. 동시에 사용자의 재시도 버튼, 엄지 표시, 대화 지속 여부 같은 실사용 신호도 선호 데이터로 쓰입니다.

원문과 출처

이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.

YouTube 원본 영상 보기 ↗