Tiny Recursive Model(TRM) 논문 해설: 700만 파라미터 재귀 추론 아키텍처

핵심 메시지

• 논문 'Less is More: Recursive Reasoning with Tiny Networks'는 단 700만 파라미터의 Tiny Recursive Model(TRM)로 계층적 추론 모델(HRM)을 능가한다.
• TRM은 사고사슬(chain-of-thought) 대신 '잠재 추론'을 쓴다 — 추론 과정을 내부에서 수행하고 최종 답만 출력해 느리고 비싼 토큰 생성을 피한다.
• 스도쿠 익스트림에서 500만 파라미터 모델로 정확도가 30%p 넘게 뛰었고, 미로에서 10.8%p 개선, ARC-AGI 1·2에서도 훨씬 큰 추론 모델을 앞섰다.
• HRM의 두 모듈(계획자-실행자)을 TRM은 가중치를 공유하는 '단일 모듈'로 단순화하고, 잠재 추론 Z와 해답 임베딩 Y를 재귀적으로 정제한다.
• TRM은 HRM의 '1-스텝 그래디언트 근사(고정점 수렴 가정)' 대신 한 사이클 전체로 역전파해 그 강한 가정을 없애고, 적응적 정지(halting)로 문제 난도에 따라 사고량을 조절한다.

쉽게 이해하기

몇 달 전 화제였던 계층적 추론 모델(Hierarchical Reasoning Model, HRM)은 2,700만 파라미터로 최상위 LLM들을 어려운 추론 벤치마크에서 이겼다. 이번 영상이 다루는 새 논문 'Less is More: Recursive Reasoning with Tiny Networks'는 HRM에서 영감을 받되 더 단순한 구조에 700만 파라미터로 HRM보다 뚜렷이 앞서는 Tiny Recursive Model(TRM)을 제안한다.

일반적인 트랜스포머 LLM은 사고사슬 추론에 의존한다. 입력에 대해 추론 과정을 나타내는 토큰을 생성하고 다시 입력에 넣기를 반복해 답을 낸다. 하지만 이것으로 부족할 때가 있고(예: ARC-AGI-2에서 Gemini 2.5 Pro는 4.9%에 그친다), 긴 사고사슬은 컨텍스트가 커지는 다수의 순전파를 요구해 느리고 비싸다. 대신 HRM·TRM은 잠재 추론(latent reasoning)을 택해, 추론을 내부에서 전부 수행하고 흔적 없이 최종 답만 출력한다. 표준 RNN처럼 들리지만 구조가 다르다.

성능은 인상적이다. 평가에는 규칙을 몇 예시에서 추론하는 ARC-AGI 퍼즐, 훨씬 어렵게 만든 스도쿠 익스트림, 두 점 사이 최적 경로를 찾는 미로가 쓰인다. 스도쿠에서 500만 파라미터 모델로 정확도가 30%p 넘게 올랐고, 미로에서 10.8%p 개선됐으며, ARC-AGI 1·2에서 수십~수백 배 큰 Gemini 2.5 Pro·Claude 3.7 같은 상위 추론 모델을 앞섰다. 과제 특화 모델이라는 점을 감안해도 놀라운 결과다. 두 변형 중 하나는 셀프 어텐션을, 다른 하나는 MLP-믹서에서 착안한 MLP 블록을 쓰는데, 컨텍스트 길이가 작고 고정된 스도쿠에는 MLP 쪽이 잘 맞았다.

구조를 보면, 입력은 학습 가능한 임베딩을 거친다. HRM은 서로 다른 시간 척도로 맞물려 도는 두 순환 모듈(추상적 방향을 잡는 상위 '계획자'와 세부 계산을 빠르게 수행하는 하위 '실행자')을 쓴다. TRM은 이를 두 역할을 함께 학습하는 단일 모듈로 단순화한다. 그림엔 여러 상자가 있지만 모두 같은 가중치를 공유하며 반복 적용된다. 잠재 특징의 이름도 바뀌어, 현재 해답의 임베딩을 Y, 모델의 잠재 추론을 Z로 둔다.

정제 과정은 이렇다. 먼저 입력 임베딩·현재 Z·현재 Y를 받아 잠재 추론 Z를 T번(하이퍼파라미터) 반복 갱신한다. 그다음 한 스텝에서 정제된 Z와 Y로 해답 임베딩 Y를 갱신하는데, 이때는 입력 임베딩을 쓰지 않는다. 이 분리 덕분에 모델이 '추론 정제'와 '출력 정제'라는 두 역할을 명확히 구분해 학습하며, 모듈이 하나여도 되는 핵심 이유가 된다. 이 중첩 루프를 n 사이클 반복한 뒤 최종 Y가 출력층을 지나 토큰을 만든다.

주요 인사이트

• 학습 방식이 핵심 차이다. 순환 모델의 표준인 시간 역전파(BPTT)는 모든 스텝을 거쳐 역전파해 메모리가 크고 긴 추론에서 불안정하다.
• HRM은 현재 스텝 계산만으로 갱신하는 '1-스텝 그래디언트 근사'로 메모리를 일정하게 유지하고 안정화하지만, 모델이 고정점에 수렴했다는 강한 가정에 의존하며 실제로 수렴을 확인하지 않는다.
• TRM은 출력 정제 1스텝과 잠재 추론 T스텝으로 이뤄진 '한 사이클 전체'로 역전파한다 — HRM보다 역전파가 몇 번 더 들지만 BPTT보다 훨씬 효율적이고, 강한 수렴 가정 없이 추론을 반복적으로 개선하도록 학습한다.
• 적응적 정지(halting) 헤드가 n 사이클 후 멈출지 더 추론할지를 결정해, 어려운 문제엔 더 오래 생각하고 쉬운 문제엔 일찍 멈춰 연산을 아낀다.
• '적을수록 낫다'는 제목엔 뉘앙스가 있다 — 매우 제한된 데이터로 학습했기에 과적합을 막으려 작은 망이 필요했을 수 있다. 즉 여기서 'less'는 희소한 데이터에서 일반화할 만큼 '딱 충분한' 크기를 뜻한다.

자주 묻는 질문

관련 AI 소식