LLM 강화학습 RLHF 정리: KL 제약의 기원부터 개인화 보상 모델과 다원적 정렬 연구까지

핵심 메시지

• 딥시크 R1이 LLM 강화학습 시대를 연 것이 아니라, 챗GPT를 만든 RLHF부터 이미 그 시대였다.
• 사전학습 모델을 기준점으로 삼아 정책이 멀어지지 않게 붙잡는 KL 제약은 2016년 음악 생성 연구에서 나와 지금까지 살아남았다.
• 현재 RLHF의 보상 모델은 '모든 사람의 선호를 설명하는 단일 보상 함수'를 가정해 소수 집단의 선호를 무시하게 된다.
• 사용자별 잠재 벡터를 추론해 보상 함수를 개인화하면 서로 엇갈리는 선호를 평균 내지 않고 각각 맞출 수 있다.
• 강화학습 연구자들이 LLM 사후학습에 기여할 여지가 크며, 호기심 보상과 다중 에이전트 적대 학습이 그 예다.

쉽게 이해하기

강연자는 딥시크 R1 공개 이후 '드디어 강화학습이 LLM에서 통하기 시작했다'는 식의 반응이 널리 퍼진 데 문제를 제기한다. 2022년 챗GPT를 다른 모델과 갈라놓은 것이 바로 인간 피드백 기반 강화학습(RLHF)이었고, 당시 논문은 15억 파라미터 모델의 출력이 100배 큰 지도학습 모델보다 사람들에게 더 선호됐다고 보고했다. 즉 무한정 규모를 키우는 것보다 강화학습 미세조정에 투자하는 편이 비용 대비 효과적이라는 결론은 이미 그때 나와 있었다.

강화학습으로 사전학습 모델을 계속 훈련시킬 때의 고질적인 문제는, 보상만 좇다 보면 데이터에서 배운 것을 전부 지워 버린다는 점이다. 음악 생성 모델에 음악 이론 규칙을 보상으로 준 실험에서는 같은 음을 무한히 반복하는 것만으로도 보상이 완벽하게 최적화됐다. 해결책은 사전학습된 모델의 사본을 '데이터 사전확률'로 고정해 두고, 새 정책이 그 분포에서 크게 벗어나지 않도록 KL 발산을 제약하는 것이었다. 이 기법은 신약 후보 물질 생성에서 유효한 분자 형태를 유지하는 데도 쓰였고, 오늘날 최전선 LLM의 강화학습 미세조정에 그대로 남아 있다.

현대 RLHF의 절차 자체는 단순하다. 두 응답 중 어느 쪽이 나은지 사람의 비교 판단을 모아 보상 모델을 학습시키고, 그 보상 모델로 LLM의 무한한 샘플을 채점해 온라인 강화학습으로 되먹인다. 문제는 이 보상 모델이 1950년대 선호 모델링에서 온 브래들리-테리 형태를 그대로 쓴다는 데 있다. 이 모델은 모든 사용자의 선호를 하나의 보상 함수로 설명할 수 있다고 가정하고, 실제 효용의 크기는 알려 주지 않는다.

그 결과 다양한 집단의 피드백이 섞이면 소수의 선호는 지워진다. 강연에서 인용된 사례는 대학 입학 상담 챗봇이다. 다수 사용자가 학자금 지원 정보를 굳이 보고 싶어 하지 않는다는 약한 선호만 있어도, RLHF로 학습된 챗봇은 그 정보가 절실한 소수에게조차 결코 안내하지 않는 쪽으로 수렴한다. 로봇 실험에서도 서로 다른 위치를 원하는 두 집단의 선호를 평균 내 아무도 원하지 않는 가운데 지점을 학습하는 현상이 재현됐다.

연구팀이 제시한 대안은 소수의 선호 응답만으로 사용자별 잠재 벡터를 추론하고, 그 벡터에 조건화된 보상 함수를 학습하는 변분 기법이다. 보상 값을 직접 추정하는 대신 두 후보 중 어느 쪽이 나은지 분류하도록 바꿔 사용자마다 보상 척도가 제각각 튀는 문제도 잡았다. 이 방식은 학습에 쓰이지 않은 새 사용자에게도 일반화됐고, 100명 규모의 서로 다른 선호를 동시에 맞췄으며, 불확실성이 큰 질문을 골라 묻는 능동 학습으로 필요한 라벨 수를 절반으로 줄였다.

주요 인사이트

• 선호 라벨의 25%가 뒤집혀도 기존 방식보다 나은 성능을 유지했고, 50%가 뒤집혀 정보가 사라진 지점에서야 기존 방식과 같아졌다. 사용자 정보가 없으면 기본값으로 돌아가고 정보가 쌓이면 나아지는 구조다.
• 명시적인 좋아요·싫어요보다 대화 속 '무슨 말인지 모르겠다' 같은 암묵적 신호를 보상으로 쓴 쪽이 대화 품질을 더 끌어올렸다.
• 잠재 벡터의 불확실성을 활용하면, 사용자의 의도를 확신할 수 없을 때 답을 미루거나 임베딩이 크게 동떨어진 악의적 사용자를 탐지하는 응용이 가능해진다.
• 레드팀 연구에서 방어 측을 고정한 채 공격 측만 학습시키면 같은 공격만 반복 발견된다. 방어 측도 함께 온라인으로 학습시키면 뚫린 구멍이 즉시 메워져 공격이 다양해지고, 이 게임의 균형점은 모든 공격 프롬프트에 방어가 성공하는 상태로 정의된다.

자주 묻는 질문

관련 AI 소식