RLHF 쉽게 이해하기: 인간 피드백 강화학습과 ChatGPT 학습 원리

핵심 메시지

• RLHF는 강화학습의 학습 과정에 사람의 피드백을 통합하는 프레임워크다.
• 사람은 멘토처럼 에이전트를 올바른 방향으로 유도해 학습을 가속하고, 더 사람이 선호하는 결과를 내도록 돕는다.
• ChatGPT는 먼저 '보상 모델'을 학습시켜 답변의 품질을 점수로 매기게 한다.
• 보상 모델은 여러 답변을 사람이 좋은 순서로 순위 매긴 데이터로 학습된다.
• 이후 보상 모델과 PPO(근접 정책 최적화)로 ChatGPT를 반복적으로 미세조정한다.

쉽게 이해하기

강화학습에서 에이전트는 환경과 상호작용하며 보상을 얻는 방식으로 배운다. 영상은 9칸 격자 세계에서 '프랭크'라는 에이전트가 +10 보상 칸에 도달하는 예로 이를 설명한다. 프랭크는 상하좌우 중 하나를 고르며, 처음에는 어떻게 움직일지 모르지만 Q러닝, DQN, PPO 같은 강화학습 알고리즘으로 점차 효율적인 경로를 익힌다.

여기에 사람이 멘토로 개입하면, 알고리즘으로 학습하는 프랭크를 사람이 옳다고 보는 방향으로 넌지시 밀어줄 수 있다. 이렇게 하면 프랭크는 더 빨리 배우고, 사람이 선호하는 방식의 행동을 하도록 유도된다. 이것이 인간 피드백을 더한 강화학습, 즉 RLHF의 기본 아이디어다.

ChatGPT는 RLHF를 실제로 활용한다. 과정은 크게 두 부분으로 나뉜다. 첫째는 ChatGPT의 조언자 역할을 할 '보상 모델'을 학습시키는 것이고, 둘째는 그 보상 모델과 PPO(근접 정책 최적화)를 이용해 ChatGPT를 미세조정하는 것이다.

보상 모델은 질문과 답변을 입력받아 그 답변이 얼마나 좋은지를 점수로 내놓는 GPT 구조의 모델이다. 학습을 위해 하나의 질문을 사전학습된 ChatGPT에 여러 번 던져 서로 다른 답변을 얻고, 사람이 이 답변들을 가장 좋은 것부터 나쁜 것까지 순위 매긴다. 이 순위 데이터로 보상 모델을 학습시키면, 이후에는 주어진 답변의 품질을 스스로 평가할 수 있게 된다.

둘째 단계에서 ChatGPT는 질문을 받아 PPO로 답변을 생성하고, 그 답변과 질문을 보상 모델에 넘겨 점수를 받는다. 이 점수(보상)를 손실 함수에 반영해 역전파로 ChatGPT를 갱신한다. 한 번의 반복이 이렇게 끝나며, 이 과정을 여러 번 되풀이하면 오늘날의 ChatGPT처럼 다듬어진다.

주요 인사이트

• 강화학습만으로도 에이전트는 목표에 도달하는 법을 배우지만, 사람의 피드백을 더하면 학습이 빨라지고 결과가 사람의 선호에 더 잘 맞게 된다.
• RLHF의 인간 피드백은 Q러닝, DQN, PPO 등 어떤 강화학습 알고리즘과도 함께 쓸 수 있다.
• ChatGPT에서 사람의 선호는 '보상 모델'이라는 형태로 응축된다. 사람이 매 반복마다 직접 채점하는 대신, 사람의 순위 데이터로 학습된 보상 모델이 대신 점수를 매긴다.
• 보상 모델은 질문·답변 쌍을 받아 하나의 점수를 출력하며, 점수가 높을수록 좋은 답변을 뜻한다.
• 보상 모델의 점수를 손실 함수에 넣어 PPO로 반복 미세조정하는 과정이 ChatGPT를 고품질 응답 도구로 만든다.

자주 묻는 질문

관련 AI 소식