GRPO 완전 해설: DeepSeek이 추론 모델을 훈련시킨 강화학습 기법의 수식 뜯어보기

핵심 메시지

• GRPO는 DeepSeek 논문에서 소개된 학습 기법으로, 비교적 적은 파라미터로도 강력한 추론 모델을 만들 수 있게 한 배경으로 지목된다.
• 추론 모델 훈련에는 사람이 작성한 단계별 풀이를 그대로 학습시키는 방식과, 모델이 스스로 풀이를 만들고 채점받는 강화학습 방식이 있다.
• 언어 모델은 좋은 풀이를 만들어내는 것보다 이미 나온 풀이를 평가하는 데 더 강하며, 이 비대칭이 자기 채점 기반 학습을 가능하게 한다.
• 복잡해 보이는 GRPO 손실 함수는 응답 평균, 단계 평균, 확률비, 정규화된 품질 점수(어드밴티지), 클리핑, KL 발산이라는 여섯 조각의 조합이다.
• 클리핑과 KL 발산은 모두 '모델을 한 번에 크게 바꾸지 말라'는 안전장치로, 한 문제를 고치려다 나머지를 망가뜨리는 일을 막는다.

쉽게 이해하기

강의는 '2x + 4 = 10에서 x를 구하라'는 단순한 문제 하나로 시작한다. 모델이 내놓을 수 있는 답을 세 가지로 놓고 비교하는데, 첫째는 아예 틀린 답, 둘째는 정답만 덜렁 제시한 답, 셋째는 양변에서 4를 빼고 2로 나누는 과정을 모두 보여준 정답이다. 우리가 원하는 것은 세 번째 유형이며, 추론 모델을 훈련한다는 것은 결국 모델이 답만이 아니라 중간 단계를 만들어내도록 유도하는 일이라는 점을 확인한다.

그 목표에 이르는 길은 두 갈래다. 하나는 수학을 잘하는 사람을 다수 고용해 단계가 잘 정리된 풀이를 대량으로 만들고 그것을 모델에 학습시키는 지도학습 방식이다. 직관적이지만 비용이 크고, 무엇보다 모델의 실력이 데이터를 만든 사람 중 최고 수준을 넘어서기 어렵다는 한계가 있다. 다른 하나는 모델이 스스로 풀이를 만들게 하고 그 풀이를 단계별로 채점해 되먹이는 강화학습 방식이다.

강화학습이 성립하는 이유로 강의가 드는 근거는 언어 모델의 능력 비대칭이다. 모델은 좋은 풀이를 새로 만들어내는 데는 서툴러도, 이미 있는 풀이가 맞는지 판단하는 데는 상당히 능하다. 여기에 수식을 실제로 검증하는 소프트웨어나 몇 가지 휴리스틱을 결합하면 꽤 믿을 만한 채점기가 만들어지고, 이 채점 결과가 다시 모델을 밀어 올린다. 강의는 이를 체스와 바둑에서 기보를 학습시키는 대신 컴퓨터끼리 대국하게 했을 때 훨씬 강해졌던 사례에 빗댄다.

GRPO의 손실 함수는 한눈에 보면 위압적이지만, 강의는 이를 여섯 조각으로 나눠 설명한다. 바깥쪽 합은 모델이 내놓은 여러 응답에 대한 평균이고, 안쪽 합은 한 응답 안의 단계 수로 나눈 평균이다. 그 안에 새 정책과 옛 정책의 확률비, 각 단계의 품질을 나타내는 어드밴티지, 값이 너무 커지지 않게 막는 클리핑, 그리고 모델이 이전 버전에서 너무 멀어지지 않게 잡아주는 KL 발산 항이 들어간다.

품질 점수는 예시로 나쁜 단계에 -0.1, 좋은 단계에 +0.2, 오답에 -1, 정답에 +1을 주는 식으로 매긴 뒤 정규화한다. 평균을 빼서 0을 중심으로 옮기고 표준편차로 나눠 폭을 맞추는 과정으로, 강의의 예시에서는 평균 0.111과 표준편차 0.578이 쓰인다. 확률비는 같은 답이 나올 확률이 학습 전후로 얼마나 달라졌는지를 나타내는데, 아주 작은 확률로 나누면 값이 100처럼 폭주할 수 있어 엡실론 0.2를 기준으로 0.8과 1.2 사이로 잘라낸다.

주요 인사이트

• 사람이 만든 정답 데이터에 의존하는 학습은 데이터를 만든 사람의 실력이 곧 천장이 된다. 반면 자기 채점 기반 강화학습은 사람이 아직 떠올리지 못한 추론 방식까지 찾아낼 여지를 남긴다.
• '만드는 능력'보다 '평가하는 능력'이 앞선다는 성질은 추론 모델 학습의 핵심 자원이다. 채점기가 충분히 강하면 별도의 정답지 없이도 학습 신호를 만들 수 있다.
• GRPO는 정답 여부만 보지 않고 중간 단계 각각에 점수를 매긴다. 우연히 정답에 도달한 풀이와 처음부터 끝까지 옳은 풀이를 구분하려는 설계다.
• 정규화는 점수의 절대값이 아니라 같은 문제에 대한 응답들 사이의 상대적 우열을 학습 신호로 만든다. 이름에 '그룹 상대(group relative)'가 들어간 이유가 여기에 있다.
• 클리핑과 KL 발산은 성능이 아니라 안정성을 위한 장치다. 시험에서 틀린 세 문제를 고치려고 답안 전체를 뒤집으면 맞았던 문제까지 잃는다는 비유가 이 설계를 잘 설명한다.

자주 묻는 질문

관련 AI 소식