딥시크 R1 논문 해설: GRPO 강화학습과 모델 증류로 추론 능력을 끌어올린 학습 과정 정리

핵심 메시지

• 딥시크 R1 제로는 지도 학습 데이터 없이 오직 강화학습만으로 기존 베이스 모델의 추론 능력을 끌어올린 모델이다.
• GRPO는 별도의 크리틱 신경망 없이 여러 응답을 그룹으로 묶어 서로 비교하는 방식이라 훈련 비용을 줄인다.
• 가독성 저하와 언어 혼용 문제를 풀기 위해 소량의 콜드스타트 데이터와 네 단계 학습 과정을 거쳐 R1이 만들어졌다.
• 큰 모델의 추론 능력을 소형 모델에 증류하는 편이 소형 모델을 직접 강화학습시키는 것보다 값싸고 효과적이었다.
• 함수 호출과 정해진 형식의 출력, 소프트웨어 엔지니어링 작업은 아직 약점으로 남아 있고 예시를 붙인 프롬프트는 오히려 성능을 떨어뜨린다.

쉽게 이해하기

영상은 딥시크가 공개한 백서를 한 문단씩 따라가며 이 모델이 어떻게 만들어졌는지 설명한다. 출발점은 답을 내놓기 전에 여러 단계를 거쳐 생각하고 앞 단계로 되돌아가기도 하는 사고 사슬을 길게 늘였더니 추론 능력이 크게 올라갔다는 관찰이다. 문제는 모델을 배포한 뒤 실제 사용 시점에서 성능을 효과적으로 더 끌어올릴 방법이 마땅치 않다는 점이었다. 업계는 단계마다 보상을 주는 방식, 강화학습, 몬테카를로 트리 탐색 같은 선택지를 시도해 왔다.

딥시크 팀이 택한 길은 지도 학습용 데이터를 전혀 쓰지 않고 강화학습만으로 밀어붙이는 것이었다. 이미 공개돼 있던 자사 베이스 모델 위에 GRPO라는 강화학습 틀을 적용해 만든 것이 R1 제로다. 수학 문제 벤치마크에서 점수가 15.6%에서 71%로 올랐고, 같은 문제를 여러 번 풀어 가장 많이 나온 답을 고르는 방식을 쓰면 86.7%까지 올라갔다. 보상은 정답 여부를 규칙으로 확인할 수 있는 정확도 보상과, 생각하는 과정을 정해진 태그 안에 담게 하는 형식 보상 두 가지였다.

GRPO의 핵심은 응답 하나하나를 평가하는 별도의 크리틱 신경망을 없앤 데 있다. 대신 모델이 만들어 낸 여러 응답을 한 그룹으로 묶고, 그룹 안의 보상 평균과 표준편차를 기준 삼아 각 응답이 평균보다 나은지 못한지를 계산한다. 여기에 한 번의 갱신 폭을 일정 범위로 제한하는 클리핑과, 기준 정책에서 너무 멀어지면 벌점을 주는 항을 더해 학습이 급격히 흔들리지 않게 잡아 준다. 크리틱 모델을 유지하지 않으니 더 빠르고 저렴하게 훈련할 수 있다는 것이 채택 이유다.

흥미로운 대목은 강화학습만 받은 모델이 스스로 진화하는 과정을 관찰할 수 있었다는 점이다. 답을 만들다가 앞 단계로 되돌아가 이게 맞는지 자문하는 되짚기가 자주 나타났고, 팀은 모델이 처음 접근을 다시 검토하며 중요한 지점을 찾아내는 순간을 아하 모먼트라고 불렀다. 발표자는 일주일짜리 생산성 계획을 물어봤을 때 모델이 각 날의 과제가 하루에 소화 가능한지 스스로 되물으며 답을 고쳐 나가는 장면을 예로 든다. 다만 R1 제로에는 읽기 어려운 답변과 여러 언어가 섞이는 문제가 남았다.

그래서 R1은 네 단계로 만들어졌다. 먼저 수천 개 규모의 콜드스타트 데이터로 베이스 모델을 미세 조정해 답변 형식을 잡고, 코딩과 수학, 과학, 논리 추론에 초점을 둔 강화학습을 하되 한 가지 언어로 일관되게 답하면 보상을 줘 언어 혼용을 줄였다. 이어 역할극이나 글쓰기 같은 일반적인 작업 데이터로 다시 미세 조정하고, 마지막으로 유용성과 안전성을 겨냥한 2차 강화학습을 거쳤다. 추론 데이터에는 규칙 기반 보상을, 일반 데이터에는 사람의 선호를 반영하는 보상 모델을 나눠 적용한 점도 특징이다.

마지막 축은 증류다. 팀은 R1의 추론 능력을 공개된 소형 모델들에 주입해 벤치마크 점수가 크게 오르는 것을 확인했고, 같은 소형 모델을 대규모 강화학습으로 직접 훈련한 경우와 비교해 증류 쪽이 더 나은 점수를 냈다. 결론은 두 가지였다. 성능 좋은 소형 모델을 원한다면 증류가 훨씬 값싸고 효과적이지만, 이미 존재하는 능력을 옮기는 방식이라 그 이상으로 나아가려면 더 강력한 베이스 모델과 대규모 강화학습이 필요하다는 것이다.

주요 인사이트

• 단계별로 보상을 주는 방식은 모델이 정답보다 보상에 맞춰 답을 길게 늘이는 보상 해킹으로 흐르기 쉽고 자원도 많이 먹는다는 이유로 제외됐다. 몬테카를로 트리 탐색은 승패가 분명한 보드게임과 달리 토큰 생성이 매번 달라지고 답이 주관적인 언어 모델에는 잘 맞지 않았다.
• 크리틱 신경망을 없앤 것은 단순한 구조 단순화가 아니라 비용 문제다. 응답을 개별 평가하는 대신 그룹 안에서 순위를 매기는 것만으로 학습 신호를 만들 수 있다면, 같은 예산으로 더 많은 강화학습을 돌릴 수 있다.
• 콜드스타트 데이터의 역할은 지식 주입이 아니라 형식 설계에 가깝다. 생각하는 과정을 보여 준 뒤 요약을 덧붙이는 일정한 틀을 사람이 정해 주자, 같은 능력이라도 사용자가 읽을 수 있는 형태로 나오기 시작했다.
• 발표자는 우울하다는 말에 병원에 가 보라거나 친구와 이야기하라는 목록을 나열하는 답변이 실제로는 도움이 되지 않을 수 있다고 지적한다. 마지막 요약이 사용자에게 정말 필요한 답인지 다시 평가하도록 학습시킨 것은 이런 공감의 결여를 겨냥한 조치다.
• 예시를 여러 개 붙이는 프롬프트가 오히려 성능을 떨어뜨린다는 점은 사용자에게 바로 쓸모 있는 정보다. 모델이 이미 자기 방식의 긴 사고 사슬을 만들도록 학습돼 있어 예시가 방해가 되므로, 예시 없이 질문만 주는 편이 낫다.

자주 묻는 질문

관련 AI 소식