스탠퍼드 CS224N 강의로 배우는 프롬프팅·명령 튜닝·RLHF와 챗봇 학습 원리

핵심 메시지

• 강의는 사전학습된 언어 모델을 ChatGPT에 가깝게 만드는 과정을 프롬프팅 → 명령 파인튜닝 → RLHF의 세 단계로 정리한다.
• GPT-3의 핵심 성과는 예시 몇 개만 보여주면 과제를 수행하는 ‘창발적 퓨샷 학습’이었다.
• ‘단계별로 생각해 보자’처럼 프롬프트만 바꾸는 사고 사슬(chain-of-thought) 기법은 아주 단순하지만 성능 향상 효과가 크다.
• RLHF는 사람이 매긴 선호 데이터로 ‘보상 모델’을 학습시키고, 실제 사람 대신 그 보상 모델의 점수를 최적화한다.
• 언어 모델의 행동 공간(가능한 문장)이 방대해 강화학습이 어렵지만, PPO 같은 알고리즘으로 다뤄진다.

쉽게 이해하기

스탠퍼드 CS224N의 이 강의(NLP 그룹 박사과정 학생 Justin Mu 진행)는 최근 챗봇 열풍의 배경인 프롬프팅, 명령 파인튜닝, 인간 피드백 기반 강화학습(RLHF)을 다룬다. 목표는 ChatGPT 같은 시스템이 어떻게 훈련되는지를 이해하는 것이다.

출발점은 규모다. 해가 갈수록 모델의 연산량은 10의 거듭제곱 단위로 커졌고 학습 데이터도 크게 늘었다. 강의는 사전학습된 모델을 점점 정교한 방식으로 ‘조향’해 ChatGPT에 가깝게 만드는 흐름을 세 단계로 짚는다.

첫 단계는 제로샷·퓨샷 학습이다. GPT-3 논문의 제목이 ‘언어 모델은 퓨샷 학습자다’였던 것처럼, 원하는 예측 전에 과제의 예시를 몇 개 제시하는 것만으로 과제를 지정할 수 있는 ‘창발적 퓨샷 학습’이 핵심 성과로 소개된다. 여기서 더 나아가, 표준 프롬프팅에 풀이 예시를 함께 주는 사고 사슬(chain-of-thought) 프롬프팅과, 그저 ‘단계별로 생각해 보자’고 부탁하는 제로샷 사고 사슬이 등장한다. 강의는 후자를 ‘가장 단순한 아이디어 대비 영향력이 가장 큰’ 사례로 꼽는다.

두 번째 단계는 명령 파인튜닝이다. 다양한 과제를 지시문 형태로 모아 모델을 추가 학습시켜, 사용자의 지시를 더 잘 따르도록 만든다. 다만 명령을 잘 따른다고 해서 사용자가 진짜로 원하는 것(진실성·창의성 같은 인간의 선호)과 완전히 일치하지는 않는다는 한계가 남는다.

세 번째 단계가 RLHF다. 사람이 매긴 주석 데이터로 인간의 선호를 예측하는 ‘보상 모델’을 별도로 학습시키고, 강화학습 때는 실제 사람의 보상 대신 이 보상 모델의 점수를 최적화한다. 언어 모델은 어떤 문장이든 내놓을 수 있어 탐색해야 할 행동 공간이 매우 넓고, 그래서 강화학습이 까다롭다. 강의는 이런 어려움에도 근접 정책 최적화(PPO) 같은 알고리즘이 이 문제를 실용적으로 다루게 해줬다고 설명한다.

주요 인사이트

• 챗봇 훈련은 하나의 마법이 아니라, 프롬프팅 → 명령 파인튜닝 → RLHF로 이어지는 점진적 ‘조향’의 누적이다.
• 사고 사슬 프롬프팅은 모델을 바꾸지 않고 입력 문구만 바꿔 성능을 끌어올린다. ‘단계별로 생각하라’는 한 문장이 큰 효과를 낸다는 점이 그 단순함 대비 영향력을 보여준다.
• RLHF의 핵심 아이디어는 사람의 평가를 대신할 보상 모델을 세우는 것이다. 매번 사람에게 물을 수 없으므로, 선호 데이터로 학습한 보상 모델의 점수를 최적화 대상으로 삼는다.
• 언어 모델을 ‘어떤 문장이든 낼 수 있는 행위자’로 보면 행동 공간이 지나치게 넓어 강화학습이 어렵다. PPO 같은 심층 신경망용 RL 알고리즘의 발전이 언어 모델에 RL을 다시 적용하게 만든 배경이다.

자주 묻는 질문

관련 AI 소식