RLHF란 무엇인가: 지도 파인튜닝·보상 모델·PPO로 이어지는 3단계 정렬 과정

핵심 메시지

• RLHF는 지도 파인튜닝 → 보상 모델 학습 → 강화학습(PPO) 정렬로 이어지는 3단계 과정이다.
• 1단계에서는 사람이 프롬프트에 대한 응답을 직접 작성해 데이터셋을 만들고 지도 파인튜닝을 수행한다(노동집약적).
• 2단계에서는 사람이 여러 응답의 순위를 매겨 라벨로 삼고, 이 순위 데이터로 보상 모델(또 다른 LLM)을 학습한다.
• 3단계에서는 보상 모델의 점수를 이용해 PPO로 파인튜닝 모델을 갱신하며, 이 정렬을 거치면 ChatGPT 같은 결과물이 나온다.

쉽게 이해하기

세바스티안 라시카는 RLHF가 아직 많은 사람이 시도하지 않은 기법이지만, 몇몇 예외를 빼면 대부분의 오픈소스 모델에 적용해 더 나은 성능을 끌어낼 수 있는 방법이라고 소개한다. 그는 RLHF를 세 단계로 나눠 설명한다.

1단계는 프롬프트(지시문)를 샘플링한 뒤 사람이 직접 응답을 작성해 데이터셋을 만드는 것이다. 이렇게 모은 데이터로 앞서 설명한 지도 파인튜닝(SFT)을 수행해 하나의 모델을 얻는다. 사람이 응답을 일일이 써야 하므로 시간과 노동이 많이 든다.

2단계에서는 파인튜닝한 모델로 더 많은 프롬프트에 대한 응답을 뽑고, 사람이 예컨대 네 개의 응답을 가장 나쁜 것부터 좋은 것까지 순위 매긴다. 이 순위가 라벨이 된다. 응답을 처음부터 쓰는 것보다 순서를 정하는 편이 상대적으로 수월하다. 이렇게 만든 순위 데이터로 보상 모델을 학습하는데, 보상 모델도 LLM이며 흔히 사전학습에 쓴 것과 같은 계열의 모델을 파인튜닝해 만든다.

3단계에서는 지도 파인튜닝 모델과 보상 모델을 함께 쓴다. SFT 모델이 응답을 생성하면 보상 모델이 점수를 매기고, 그 점수를 바탕으로 PPO(근접 정책 최적화)라는 강화학습 기법으로 SFT 모델을 갱신한다. 이 정렬(alignment) 과정을 거치면 우리가 질문했을 때 꽤 좋은 답을 내놓는 ChatGPT 같은 모델이 된다.

라시카는 마지막으로 'RLHF가 정말 필요한가'라는 물음을 던진다. 과정이 꽤 복잡한 만큼 지도 파인튜닝만으로 충분하지 않겠느냐는 것이다. 그는 흥미로운 연구들이 있다며 이를 향후 연구 방향으로 남겨 둔 채 열린 질문으로 두었다.

주요 인사이트

• 순위를 매기는 일이 응답을 처음부터 작성하는 것보다 수월해, 2단계 라벨링 부담이 1단계보다 덜하다.
• 보상 모델은 흔히 사전학습에 사용한 것과 같은 계열의 LLM을 파인튜닝해 만든다.
• 정렬(alignment)은 새 모델을 처음부터 만드는 것이 아니라 기존 SFT 모델을 보상 신호로 다듬는 과정이다.
• RLHF의 복잡성 때문에 '지도 파인튜닝만으로 충분한가'라는 물음이 열린 연구 주제로 남아 있다.

자주 묻는 질문

관련 AI 소식