RLHF 완전 해설: 인간 피드백 강화학습이 ChatGPT를 만든 3단계 과정

핵심 메시지

• RLHF는 ‘무엇이 안전하고 윤리적이며 유용한가’처럼 수식으로 적기 어려운 가치를, 사람의 선호로부터 직접 학습시키려는 방법이다.
• 강화학습은 에이전트가 환경과 상호작용하며 보상이라는 하나의 스칼라 신호를 최적화하는 수학적 틀이다.
• RLHF는 ①언어모델 사전학습(+선택적 지도 미세조정) ②보상모델 학습 ③강화학습 미세조정의 3단계로 이뤄진다.
• 보상모델은 사람이 여러 출력에 매긴 상대적 순위를 학습해, 텍스트를 하나의 보상 점수로 바꿔 준다.
• 미세조정 단계에서는 KL 발산으로 정책이 원래 모델에서 너무 벗어나지 않게 제약하고, 주로 PPO 알고리즘으로 최적화한다.

쉽게 이해하기

허깅페이스의 심층 강화학습 강좌 라이브에서 강화학습 연구자 네이선 램버트가 ‘인간 피드백 강화학습(RLHF)’을 처음부터 설명했다. 출발점은 근본적인 물음이다. ‘무엇이 재미있고, 윤리적이며, 안전한가’ 같은 가치는 손실 함수로 종이에 적어 내려가기가 매우 어렵거나 적더라도 크게 틀리기 쉽다. RLHF는 이런 가치를 수식이 아니라 모델 속에, 사람의 피드백으로부터 직접 학습시키려는 시도다.

강연은 먼저 강화학습의 기본 용어를 정리한다. 에이전트가 환경에 행동을 가하면 환경은 상태와 보상을 돌려주고, 에이전트는 정책을 통해 상태를 행동으로 매핑한다. 강화학습은 이 보상이라는 하나의 스칼라 신호를 시간에 걸쳐 최적화하는 데 강점이 있다. RLHF의 역사도 언어모델 이전, 테트리스를 푼 TAMER나 아타리 게임의 보상 예측기, 그리고 오픈AI의 요약 실험까지 거슬러 올라간다.

핵심은 3단계 과정이다. 첫째, 인터넷 텍스트로 비지도 시퀀스 예측을 통해 언어모델을 사전학습한다. 실험에서 모델 크기는 100억~2,800억 파라미터까지 다양했고 ‘정답 크기’는 정해져 있지 않다. 여기에 선택적으로, 사람이 직접 쓴 고품질 응답으로 추가 학습하는 지도 미세조정(SFT)을 얹어 이후 과정의 좋은 출발점을 만든다.

둘째, 보상모델을 학습한다. 같은 프롬프트를 하나 또는 여러 모델에 통과시켜 서로 다른 출력을 만들고, 사람이 이 출력들의 상대적 순위를 매긴다. 이 순위를 스칼라 점수로 바꿔, 텍스트를 입력받아 하나의 보상 값을 내놓는 모델을 지도학습으로 만든다. 예컨대 InstructGPT는 약 1,700억 파라미터 언어모델과 60억 파라미터 보상모델을 썼다고 소개된다.

셋째, 강화학습으로 미세조정한다. 이때 정책은 언어모델 자신이고, 상태와 행동은 모두 언어이며, 보상모델이 언어를 스칼라 보상으로 번역한다. 여기에 KL 발산 제약을 더해, 정책이 처음의 신뢰할 만한 언어모델에서 너무 멀어지지 않게 한다. 이는 모델이 보상만 높이려 무의미한 문장을 뱉는 실패를 막는 장치다. 보상 항과 제약을 람다로 가중해 합친 뒤, 주로 PPO(근접 정책 최적화)로 최적화한다. 강연은 연구소마다 구현 세부는 다르지만 큰 아이디어는 대체로 같다고 강조한다.

주요 인사이트

• RLHF의 본질은 ‘좋은 답의 기준’을 방정식으로 규정하지 않고 사람의 선호 데이터로부터 모델이 배우게 하는 것이다.
• 보상모델은 절대 점수가 아니라 사람의 상대적 순위(예: 머리를 맞대는 비교, ELO식 순위)에서 학습되는 경우가 많다.
• KL 발산 제약은 정책이 보상모델을 속여 높은 점수만 노리는 ‘보상 해킹’을 막고, 텍스트가 여전히 유용하도록 최적화 범위를 잡아 준다.
• InstructGPT처럼 정책과 보상모델의 크기가 서로 다를 수 있으며, 방법 전반에 변형이 많아 무엇이 최선인지는 아직 확립되지 않았다.
• ChatGPT의 구체적 학습법은 공개되지 않아 강연도 소문 수준으로만 언급하지만, 사람이 쓴 고품질 주석에 막대한 비용을 들였다는 점은 공통적으로 지목된다.

자주 묻는 질문

관련 AI 소식