GRPO 강화학습 원리: 지도학습의 한계를 넘어 AI 추론을 키우는 방법

핵심 메시지

• 지도 미세조정(SFT)은 학습 데이터를 완벽히 모방하는 것이 한계라, 모델을 아무리 키워도 데이터에 담긴 지능 이상으로는 나아가지 못한다.
• GRPO는 한 질문에 대해 여러 개(예: 8개)의 추론·답을 생성한 뒤, 각 답을 실제 정답과 비교해 오차를 구하고 답들의 평균과 견주어 상대적 우열을 매긴다.
• 모델이 스스로 만든 응답 중 좋은 것은 지도학습처럼 강화하고, 나쁜 것은 손실에 음수를 곱해 다시 나오지 않도록 억제한다.
• 훈련이 과해지면 출력이 사람 언어에서 멀어지거나 응답 다양성이 무너지는 실패 모드가 있는데, KL 발산 손실이 원래 모델 쪽으로 당기는 '스프링' 역할을 한다.
• 응답의 좋고 나쁨을 검증할 수만 있다면, 데이터에 갇히지 않고 사실상 무한히 지능을 끌어올릴 수 있다는 것이 핵심이다.

쉽게 이해하기

영상은 계산량을 늘려도 AI 모델의 지능이 결국 학습 데이터에 의해 제한된다는 문제에서 출발한다. 지도 미세조정은 사람 데이터를 받아, 앞선 단어들이 주어졌을 때 다음 단어가 통계적으로 더 그럴듯해지도록 모델을 훈련한다. 이 과정을 수조 번 반복하면 모델은 언어를 이해하는 듯 보이지만, 실제로는 사람이 추론할 때의 모습을 흉내 낼 뿐 무언가를 '옳게' 만드는 것은 아니다.

여기서 GRPO 방식의 강화학습이 등장한다. 발표자는 과거 날씨 데이터로 내일 기온을 추론·예측하는 예를 든다. 모델에게 하나의 답만 내게 하지 않고, 서로 다른 추론 경로로 수렴하는 여러 개의 답을 생성하게 한다. 이렇게 답들의 '그룹'을 만드는 것이 GRPO의 G(group)에 해당한다. 중요한 점은 각 추론이 마지막에 검증 가능한 하나의 답으로 귀결된다는 것이다.

훈련 단계에서는 여덟 개의 답을 각각 실제 정답과 비교해 오차를 구하고, 오차가 작은 순서로 정렬한다. 그런 다음 각 답을 전체 답의 평균과 비교해 상대적으로 얼마나 좋은지를 판단한다. 더 정확한 답에 이른 추론은 더 옳은 추론이라고 가정하는 것이다. 이 상대 평가를 근거로, 좋은 응답은 지도학습처럼 강화하고 나쁜 응답은 손실에 음수를 곱해 억제한다. 이 과정을 반복하면 모델이 실제로 추론하는 법을 익히며 정확도가 올라간다.

다만 이 접근에도 실패 모드가 있다. 첫째, 모델이 사람 언어에 얽매이지 않기 때문에 훈련이 길어질수록 출력이 영어와 전혀 다른 언어처럼 변질될 수 있다. 둘째, 응답 다양성이 지나치게 낮아지면 좋은 예시와 나쁜 예시가 너무 비슷해져 학습할 여지가 사라진다. 두 문제 모두를 완화하는 장치가 KL 발산 손실로, 이는 모델의 출력 분포가 원래 모델과 최소한 어느 정도(예: 5%) 비슷하게 유지되도록 당겨 준다.

발표자는 GRPO가 진화와 닮았다고 말한다. 진화가 뚜렷한 목표 없이도 생물을 개선하듯, 명시적 정답 예시 없이도 검증 가능한 보상만 있으면 개선이 일어난다. 유전적 다양성 부족이 진화의 실패로 이어지는 것과, 다양성이 무너질 때 학습이 멈추는 실패 모드의 평행이 흥미롭다는 관찰로 마무리한다.

주요 인사이트

• SFT의 목표는 '정확성'이 아니라 '모방'이다. 추론하는 것처럼 보여도 사람의 추론 겉모습을 따라 하는 것에 불과하다는 점이 강화학습이 필요한 이유다.
• GRPO의 핵심 아이디어는 절대 점수가 아니라 '그룹 내 상대 평가'다. 여러 답을 서로의 평균과 비교해 우열을 매기므로 별도의 가치 모델 없이도 학습 신호를 만든다.
• 모델이 스스로 만든 응답으로 자기 자신을 훈련한다는 점에서, 좋은 응답 강화와 나쁜 응답 억제(음의 손실)가 하나의 대칭적 절차로 묶인다.
• KL 발산 손실은 파라미터를 직접 붙잡는 것이 아니라 출력 분포의 유사도를 일정 수준 이상으로 유지시키는 '스프링'으로 작동해, 언어 붕괴와 다양성 소실을 함께 막는다.
• 검증 가능성(verifiability)이 전제되면 데이터의 지능 한계를 넘어설 수 있다는 것이 이 방법의 가장 강력한 함의다.

자주 묻는 질문

관련 AI 소식