딥시크 R1 논문 해설: V3 기반 강화학습과 GRPO, 아하 모먼트, 증류 모델 성능

핵심 메시지

• 딥시크에는 V3, R1-제로, R1 세 모델이 있다. V3는 생각 과정 없이 답하는 일반 모델이고, 여기에 강화학습을 적용한 것이 R1-제로다.
• R1-제로는 다른 모델의 도움 없이 강화학습만으로 학습 단계 8천 회 부근에서 오픈AI o1에 견줄 만한 성능에 도달했다.
• 쓰인 알고리즘은 GRPO다. 별도의 평가 모델을 두는 PPO와 달리 한 질문에 여러 답변을 만들게 한 뒤 정해진 규칙으로 최선을 골라 학습한다.
• 학습을 거듭할수록 답변 길이가 늘어 8천 단계에서는 평균 1만에 가까워졌는데, 이는 생각 태그 안의 추론이 길어지며 품질이 좋아진 것으로 해석된다.
• R1이 만든 데이터로 미세조정한 증류 모델은, 같은 크기 모델에 강화학습을 직접 적용한 경우보다 AIME에서 22점가량 높은 점수를 냈다.

쉽게 이해하기

이 영상은 최근 큰 관심을 모은 딥시크 R1 논문을 세부보다 큰 줄기 위주로 훑는다. 먼저 정리해야 할 것은 딥시크에 이름이 비슷한 세 모델이 있다는 점이다. V3는 우리가 흔히 쓰는 형태의 언어모델로, 생각 과정을 담는 태그 없이 질문에 바로 답한다. 딥시크 공식 사이트에서 아래쪽 토글 버튼을 아무것도 누르지 않고 질문했을 때 나오는 답변이 바로 V3다. 진행자는 이 모델을 추론이 강화된 모델이 아니라 일반 언어모델로 이해하라고 강조한다.

R1-제로는 이 V3를 기반 모델로 삼아 강화학습을 적용한 결과물이다. 여기서 놀라운 점은 다른 모델의 도움을 빌리지 않았다는 것이다. V3가 만들어 낸 데이터만으로 강화학습을 돌렸는데도, 학습 단계를 늘려 8천 회 부근에 이르자 오픈AI o1에 거의 대등한 성적을 냈다. 수학 계열 벤치마크인 MATH와 AIME에서는 오히려 더 나은 모습도 보였다. 다만 R1-제로에는 생각 태그와 답변 태그 안에서 여러 언어가 뒤섞이거나 문장이 읽기 어려워지는 문제가 있었고, 이를 미세조정과 거절 샘플링 같은 방법으로 다듬어 완성한 것이 최종 R1이다.

핵심 알고리즘은 GRPO다. 언어모델 강화학습에 흔히 쓰이는 PPO는 훈련 대상인 정책 모델이 답변 하나를 내놓으면, 그 답이 좋았는지 나빴는지 판단할 별도의 가치 모델이 필요하다. 모델이 두 개 필요하고 매번 평가 과정이 끼어들기 때문에 자원이 들고 학습이 느려진다. GRPO는 한 질문에 대해 정책 모델이 여러 개의 답변을 생성하게 한 뒤, 그중 어떤 답이 가장 좋은지를 별도 모델 없이 정해진 규칙에 따라 기계적으로 판단한다. 그리고 그 답을 기준으로 앞으로 이런 식으로 답하라는 방향의 학습을 준다. 극단적인 값이 나오는 부작용을 막는 항이 함께 들어간다.

논문이 R1-제로에서 놀랍다고 꼽은 것은 두 가지다. 첫째는 별도의 기교를 넣지 않아도 학습을 거듭할수록 모델이 스스로 좋아진다는 점이다. 이때 정확도만 오르는 것이 아니라 답변 길이도 함께 늘어, 학습 단계가 8천에 이르면 평균 길이가 1만에 가까워졌다. 진행자는 이것이 단순히 답이 길어진 것이 아니라 생각 태그 안에서 벌어지는 추론이 길어진 것이며, 틀린 답을 검증하고 다듬는 과정이 늘어난 결과로 품질이 좋아진 것이라고 해석한다. 둘째는 아하 모먼트다. 수학 문제를 풀 때 생각 태그 안의 풀이 과정을 보면, 기계적으로 순서대로 풀어 나가다가 갑자기 멈춰 서서 지금까지 계산한 것을 단계별로 다시 평가해 봐야 할 것 같다고 스스로 판단하는 장면이 나온다. 이것이 중요한 이유는 자기 교정의 가능성 때문이다. 아하 모먼트가 없으면 앞 단계에서 한 번 어긋난 풀이가 뒤로 연쇄되어 아무리 길게 생각해도 결과가 망가진다. 반면 사람처럼 중간에 되짚을 수 있다면 잘못된 부분을 스스로 고칠 여지가 생긴다. 논문은 이를 창발적 능력으로 강조한다.

마지막은 증류 모델이다. R1 디스틸 계열은 R1이 만들어 낸 고품질 추론 데이터로 기존 오픈소스 모델을 미세조정한 것이다. Qwen 계열 1.5B·7B·14B·32B와 Llama 계열 8B·70B에 같은 작업을 적용했다. 흥미로운 대목은 32B 비교다. Qwen 32B에 강화학습을 직접 적용한 QwQ 32B와, R1 데이터로 증류한 32B를 맞붙였더니 증류 쪽이 이겼다. AIME 점수가 50점 대 72점으로 22점가량 벌어졌고 나머지 벤치마크에서도 우위였다. 즉 같은 크기 모델에 강화학습을 직접 돌리는 것보다, R1이 만든 데이터로 미세조정하는 편이 더 나았다는 뜻이다. 이 증류 모델들은 Ollama에서 받아 쓸 수 있고 기본적으로 양자화된 형태로 제공되어, 8비트를 기준으로 보면 절반 정도의 메모리로 돌릴 수 있다.

주요 인사이트

• 추론 능력이 별도의 정답 풀이 데이터 없이 강화학습만으로 나타났다는 점이 이 논문의 무게중심이다. 기반 모델 하나와 보상 규칙만으로 o1급 성적에 접근했다는 것은, 추론이 특별한 학습 데이터의 산물이 아닐 수 있음을 시사한다.
• GRPO가 별도의 가치 모델을 없앤 것은 단순한 비용 절감이 아니다. 평가 모델을 학습·유지하지 않아도 되니 반복 주기가 짧아지고, 그만큼 학습 단계를 많이 쌓는 전략 자체가 가능해진다.
• 답변 길이가 늘어나는 현상을 성능 지표로 읽은 관점이 흥미롭다. 생각 태그 안이 길어진다는 것은 검증과 재시도가 늘었다는 뜻이고, 이는 추론 모델의 성능을 보는 새로운 관찰 창이 된다.
• 아하 모먼트의 가치는 정답률 자체보다 오류 전파를 끊는 데 있다. 초반에 한 번 어긋나면 뒤가 모두 무너지는 구조에서, 중간에 되짚는 능력은 긴 추론을 실용적으로 만드는 전제 조건이다.
• 증류가 직접 강화학습을 이긴 결과는 작은 모델을 쓰는 쪽에 실질적인 지침이 된다. 자체적으로 강화학습 파이프라인을 갖추기보다, 좋은 추론 모델이 만든 데이터를 확보해 미세조정하는 편이 효율적일 수 있다.

자주 묻는 질문

관련 AI 소식