추론 AI 원리: o1과 DeepSeek-R1은 강화학습으로 어떻게 생각을 배우나

핵심 메시지

• 추론 모델은 답을 바로 내지 않고 '생각 토큰(thinking tokens)' 안에서 사고 과정을 먼저 전개한 뒤 최종 답을 낸다.
• 핵심 통찰은 '테스트타임 컴퓨트 스케일링' — 모델을 키우는 대신, 더 많은 토큰을 생성할수록 수학·논리 문제 정확도가 올라간다.
• DeepSeek-R1-Zero는 오직 강화학습만으로, 예시 없이 스스로 사고연쇄·검증·반성을 학습했다.
• 보상은 정답 여부와 형식만 확인하는 규칙 기반으로 단순하게 설계해 보상 해킹을 피했고, GRPO로 파라미터를 갱신했다.
• 강화학습은 인간 지식의 한계를 넘어설 가능성을 지닌다 — 알파고처럼 스스로 새로운 해법을 발견할 수 있다.

쉽게 이해하기

2024년 9월 공개된 OpenAI의 o1은 프롬프트를 받으면 바로 답을 쏟아내지 않고 먼저 '몇 초간 생각'하는 과정을 거친다. 응답이 사고(thinking) 부분과 최종 답변 두 갈래로 나뉘는 것이 일반 챗봇과의 결정적 차이다.

이 사고 과정의 의미는 이른바 '테스트타임 컴퓨트 스케일링'에 있다. 모델을 더 크게, 더 오래 학습시키는 '훈련 시점' 스케일링뿐 아니라, 추론 시점에 더 많은 토큰을 생성하는 것만으로도 수학·코딩·논리 문제의 성능이 향상된다는 것이다. 사고연쇄(Chain of Thought) 프롬프트가 성능을 높였던 현상과 같은 맥락이다.

OpenAI가 방법을 공개하지 않은 사이, 중국 연구소 DeepSeek이 그 비밀을 논문으로 밝혔다. DeepSeek-R1-Zero는 지도학습 없이 오직 대규모 강화학습만으로 훈련됐다. 프롬프트 템플릿은 '생각 후 답하라'는 최소한의 제약만 담았고, 보상은 규칙 기반 정확도와 형식 두 가지로 단순하게 설계했다. 파라미터 갱신에는 그룹 상대 정책 최적화(GRPO)를 사용했다.

놀랍게도 R1-Zero는 아무도 가르치지 않았는데도 스스로 길게 사고하고, 답을 검증하고, 실수를 되짚는 습관을 익혔다. 다만 가독성이 낮고 언어를 뒤섞는 약점이 있었다. 이를 보완한 것이 더 유명한 DeepSeek-R1로, 소량의 추론 예시로 지도 미세조정을 먼저 하고, 강화학습, 다시 혼합 데이터 미세조정, 마지막으로 인간 피드백 강화학습(RLHF)까지 거치는 다단계 방식으로 만들어졌다.

저자가 강조하는 핵심은 강화학습이 유망한 연구 방향이라는 점이다. 지도학습은 사람의 데이터를 모방하므로 인간 수준을 넘기 어렵지만, 강화학습은 시행착오로 스스로 배우기에 알파고가 그랬듯 인간을 뛰어넘을 수 있다. LLM이 단순히 학습 데이터를 재조합하는 '확률적 앵무새'를 넘어 새로운 통찰을 내놓는 연구자가 될 수 있다는 기대다.

주요 인사이트

• '생각 토큰'은 두 가지 이점을 준다. UI에서 사고 구간을 사용자에게 숨겼다가 답변만 스트리밍할 수 있고, 동시에 모델의 사고 과정을 사람이 읽고 해석할 수 있는 형태로 남긴다.
• R1-Zero는 학습이 진행될수록 응답 길이가 점점 길어지며 성능도 함께 올라갔다 — 테스트타임 컴퓨트 스케일링을 실증적으로 보여준다.
• 규칙 기반 보상의 단순함이 오히려 강점이다. 신경망으로 만든 보상은 모델이 편법으로 점수만 높이는 '보상 해킹'에 취약하기 때문에, 정답·형식만 확인하는 방식이 안정적이었다.
• R1-Zero의 약점인 가독성 저하와 언어 혼용은 R1에서 다단계 학습과 '언어 일관성 보상'으로 보완됐다.
• 강화학습으로만 훈련한 기본 모델이 표준 수학 벤치마크(AIME)에서 o1을 능가했다는 점은, 예시 모방 없이도 고난도 추론이 학습 가능함을 시사한다.

자주 묻는 질문

관련 AI 소식