RLHF와 PPO 원리: 보상 모델·어드밴티지·PPO 손실까지 단계별 유도

핵심 메시지

• RLHF(사람 피드백 기반 강화학습)는 언어 모델의 행동을 우리가 원하는 방향으로 정렬(alignment)하는 기법이며, ChatGPT도 이 방식으로 정렬됐다.
• 언어 모델은 강화학습의 정책(policy)으로 볼 수 있다. 프롬프트가 상태(state), 다음 토큰이 행동(action)이며, 부족한 것은 보상 모델뿐이다.
• 보상 모델은 사람이 '절대 점수'를 매기기 어렵다는 점을 피해, 두 답변 중 무엇이 더 나은지 '비교'한 선호 데이터로 학습한다(로그-시그모이드 손실).
• 정책 경사의 분산을 줄이기 위해 가치 함수를 기준선으로 두고 어드밴티지(advantage)를 쓰며, GAE로 편향-분산을 조절한다.
• 매 스텝 새 표본을 뽑는 비효율을 중요도 표본추출(off-policy)로 해결하고, PPO는 정책 비율을 클리핑해 한 번에 너무 크게 변하지 않도록 '작은 걸음'으로 최적화한다.

쉽게 이해하기

발표자 우마르 자밀은 RLHF와 PPO를 공식만 던지지 않고 단계별로 유도하는 것을 목표로 한다. 먼저 정렬(alignment) 문제를 설명한다. 언어 모델은 방대한 웹·책·위키피디아로 사전학습돼 풍부한 지식을 갖지만, 그 자체로는 욕설을 피하거나 사용자에게 공손하게 답하도록 배우지 않는다. 그래서 모델의 행동을 원하는 방향에 맞추는 정렬이 필요하고, RLHF가 그 대표 기법이다.

핵심 통찰은 언어 모델을 강화학습의 정책으로 보는 것이다. 방 안을 움직이는 고양이 예시처럼, 상태에서 정책이 행동의 확률을 알려주고 환경이 보상을 준다. 언어 모델에서는 프롬프트가 상태, 다음 토큰이 행동에 해당한다. 빠진 조각은 보상 모델이다. 사람은 한 답변에 모두가 동의할 '절대 점수'를 매기기 어렵지만 두 답변을 '비교'하는 데는 능하다. 그래서 같은 질문에 여러 답을 생성하고, 라벨러가 선호하는 쪽을 고른 선호 데이터셋을 만든다.

보상 모델은 사전학습 모델(예: LLaMA)에 어휘로 투영하는 선형층 대신 출력이 하나인 선형층을 붙여, 질문+답변을 받아 하나의 보상 값을 낸다. 학습에는 '선택된 답의 보상 − 거절된 답의 보상'을 시그모이드에 넣고 로그를 취한 손실을 쓴다. 좋은 답에 높은 보상을 주면 손실이 작아지고, 나쁜 답에 높은 보상을 주면 손실이 크게 벌점을 받아, 모델은 승자에게 높은 보상을 주도록 학습된다.

다음으로 정책 최적화를 다룬다. 목표는 정책을 따를 때 기대 보상을 최대화하는 것이다. 궤적(상태·행동의 연속)에 대한 정책 경사를 세우되, 그대로 쓰면 분산이 크다. 그래서 현재 시점 이후의 보상만 고려하고, 가치 함수(value function)를 기준선으로 빼 어드밴티지 함수를 만든다. 어드밴티지는 '이 행동이 그 상태의 평균 행동보다 얼마나 나은가'를 뜻하며, 좋은 행동의 로그확률은 올리고 나쁜 행동은 내리도록 경사를 이끈다. 어드밴티지 추정에서 항을 적게 쓰면 편향이, 많이 쓰면 분산이 커지므로, 일반화 어드밴티지 추정(GAE)이 가중합으로 이 편향-분산 균형을 맞춘다.

마지막은 효율과 안정성이다. 경사 상승의 매 스텝마다 새 궤적을 표본추출하는 것은 너무 느리다. 중요도 표본추출을 쓰면 한 정책(오프라인)에서 궤적을 뽑아 메모리에 저장하고, 다른 정책(온라인)을 여러 번 갱신한 뒤 오프라인 정책을 온라인과 같게 맞추는 오프폴리시 학습이 가능하다. 그리고 PPO 손실은 온라인·오프라인 정책의 확률 비율에 어드밴티지를 곱하되, 비율을 1±ε로 클리핑하고 최솟값을 취해 '가장 비관적인' 작은 갱신만 허용한다. 여기에 가치 함수 학습 항, 탐색을 유도하는 엔트로피 항, 그리고 참조(고정) 모델에서 너무 멀어지지 않게 하는 KL 발산 항이 더해진다.

주요 인사이트

• 사람은 절대 점수 매기기에는 서툴지만 비교에는 능하다. RLHF는 이 사실을 이용해 '어느 답이 더 나은가'라는 선호 데이터로 보상 모델을 학습한다.
• 보상 모델의 로그-시그모이드 손실은 오직 '선택된 답 − 거절된 답'의 보상 차이에만 의존한다. 절대 점수가 아니라 순위를 학습하는 구조다.
• 어드밴티지 함수는 언어 모델에도 그대로 적용된다. '상하이는'이라는 프롬프트에서 'Shanghai' 토큰의 어드밴티지가 'chocolate'보다 높으므로 그 확률을 밀어 올린다.
• PPO의 클리핑은 토큰 확률을 한 번에 너무 크게 바꾸지 못하게 막는다. 작은 걸음으로 갱신해 모델이 특정 행동에 과도하게 쏠리지 않도록 한다.
• 중요도 표본추출(오프폴리시)이 없으면 매 갱신마다 새 표본이 필요해 계산이 사실상 불가능하다. 한 번 뽑아 여러 번 갱신하는 방식이 PPO 학습을 현실적으로 만든다.

자주 묻는 질문

관련 AI 소식