강화학습이 LLM 추론을 여는 원리 — 계층적 추론과 HICRA 알고리즘 해설

핵심 메시지

• 2024년 말 OpenAI의 o1과 2025년 초 오픈소스 딥시크-R1을 계기로, 추론에 많은 연산을 쓰는 '대형 추론 모델'이 부상했다.
• 논문은 인간과 비슷한 계층적 추론을 상위의 전략적 계획과 하위의 절차적 실행이라는 두 층으로 나눠 본다.
• 강화학습은 사전학습된 모델 안에 이미 잠재된 계층적 추론 구조를 '발견·재발견'해 끄집어낸다는 것이 핵심 가설이다.
• 학습은 두 단계로 진행된다: 먼저 하위 실행 능력을 다지고, 이후 상위 계획 전략을 다양하게 탐색하며 성능이 오른다. '아하 순간'은 병목이 실행에서 계획으로 옮겨가는 지점이다.
• 논문은 전략적 계획 토큰에 학습 신호를 더 실어주는 HICRA 알고리즘을 제안해, 기존 GRPO보다 여러 벤치마크에서 일관되게 앞섰다.

쉽게 이해하기

2024년 말 OpenAI가 공개한 o1 계열 모델은 문제를 단계별로 길게 사고하며 이전에 보기 힘든 추론 능력을 보였다. 이렇게 추론에 상당한 '생각 시간'을 쓰는 대형 언어 모델을 대형 추론 모델이라 부르며, 추론 시점의 연산을 늘려 능력을 끌어올리는 방식을 테스트타임 컴퓨트라 한다. 2025년 초 딥시크는 이에 견줄 만한 R1을 완전한 오픈소스로 공개했고, 여기서 강화학습이 추론 능력 형성에 결정적 역할을 한다는 점이 드러났다.

딥시크가 쓴 GRPO(그룹 상대 정책 최적화)는 이후 크게 유행했지만, 강화학습 도중 정확히 무엇이 일어나 추론이 생겨나는지는 여전히 풀리지 않은 문제였다. 학습 중 모델이 스스로 풀이를 되돌아보거나 다시 검토하는 놀라운 장면, 그리고 출력이 길어질수록 성능이 오르는 현상이 '아하 순간'으로 불렸지만 그 이유는 분명치 않았다. 논문 'Emergent Hierarchical Reasoning in LLMs Through Reinforcement Learning'은 이 물음에 답하려 한다.

논문은 추론을 두 층으로 나눈다. 상위의 전략적 계획(무엇을 할지 결정하는 '먼저 이해해야 한다', '여기서 알 수 있는 것은' 같은 단계)과 하위의 절차적 실행(실제 계산이나 이미 익힌 기술의 적용)이다. 이 과정은 일직선이 아니라, 자기 반성을 통해 다시 상위 계획으로 돌아가 접근을 재평가할 수 있다. 강화학습은 밑바닥부터가 아니라 방대한 사람 글로 사전학습된 모델 위에 적용되므로, 모델은 이미 이런 계층적 구조에 대한 강한 사전 지식을 품고 있다.

연구진은 강화학습 학습에서 두 단계를 관찰했다. 첫 단계에서는 하위 실행 능력이 안정화되며 실행 토큰의 엔트로피가 급격히 떨어지지만, 정확도는 아직 크게 오르지 않는다. 즉 실행 숙달은 필요조건일 뿐 충분조건이 아니다. 둘째 단계에서는 전략적 계획의 '의미적 다양성'이 급증한다. 모델이 하나의 최적 전략으로 수렴하는 게 아니라 다양한 전략의 레퍼토리를 넓히는 것이다. 이 다양성 증가가 정확도 상승, 출력 길이 증가와 밀접하게 연동된다.

전체 토큰을 뭉뚱그린 표준 엔트로피만 보면 탐색이 멈춘 것처럼 오해하기 쉽다. 다수를 차지하는 하위 실행 토큰에 값이 좌우되기 때문이다. 반면 계획 토큰만 본 의미적 다양성 지표는 상위 계획이 여전히 활발히 진화 중임을 보여준다. 여기서 논문은 계획 토큰과 실행 토큰을 구분하지 않고 똑같이 최적화하는 GRPO의 비효율을 지적하며, 전략적 계획 토큰의 학습 신호를 증폭하는 HICRA(계층 인식 신용 할당)를 제안한다. HICRA는 GRPO 위에서 수학·멀티모달 추론 벤치마크 전반에 걸쳐 일관되게 더 나은 성능을 냈다.

주요 인사이트

• 강화학습이 새 능력을 '주입'한다기보다, 사전학습으로 이미 잠재된 계층적 추론 구조를 끄집어낸다는 관점이 이 논문의 핵심이다.
• '아하 순간'은 신비한 현상이 아니라, 학습 병목이 하위 실행에서 상위 계획으로 이동하며 새로운 전략을 발견하는 순간으로 설명된다.
• 추론 숙달은 단일 정답 전략으로의 수렴이 아니라, 다양한 전략을 갖춘 풍부한 '전술 노트'를 만드는 과정이다.
• 전체 토큰을 평균 낸 지표는 다수인 실행 토큰에 가려 상위 계획의 탐색을 놓칠 수 있으므로, 계획 토큰을 따로 측정하는 것이 중요하다.
• 보상은 응답 단위로 주어지지만 어드밴티지는 토큰 단위로 적용된다는 구조를 이용해, HICRA는 전략 토큰의 어드밴티지만 선택적으로 증폭한다.

자주 묻는 질문

관련 AI 소식