HRM 계층적 추론 모델 구조 해설 - 2,700만 파라미터로 스도쿠와 미로 풀기

핵심 메시지

• 계층적 추론 모델(HRM)은 2,700만 파라미터, 학습 예제 1,000개만으로 스도쿠·미로·ARC-AGI 같은 추론 과제에서 대형 추론 모델을 앞섰다.
• 스도쿠 같은 과제에서는 트랜스포머의 폭을 넓히는 것이 아니라 깊이를 늘리는 것이 성능을 좌우한다.
• 순환 구조는 같은 파라미터를 반복 적용해 테스트 시점에 임의의 깊이를 만들지만, 반복이 길어지면 원래 문제의 맥락을 잃는다.
• HRM은 느리고 추상적인 상위 모듈과 빠르고 세밀한 하위 모듈을 결합해, 반복을 늘려도 성능이 꺾이지 않게 만든다.
• 고정점 성질을 이용한 1단계 그래디언트 근사와 딥 슈퍼비전으로, 모든 반복 단계를 되짚지 않고도 학습이 가능하다.

쉽게 이해하기

스도쿠를 풀거나 미로를 빠져나오거나 예제 몇 개만 보고 새로운 과제로 일반화하는 일은 사람에게는 직관적이지만 AI에게는 여전히 어렵다. 패턴을 알아보고 추상화를 만들고, 논리적으로 추론하며 답을 반복적으로 다듬어야 하기 때문이다. 그런데 최근 한 논문이 ARC-AGI 같은 귀납적 추론 벤치마크에서 딥시크 R1, 클로드, o3 같은 선도 모델을 앞서는 결과를 내놓았다. 특히 다른 모델들이 아예 손을 대지 못하는 복잡한 기호적 탐색 문제인 스도쿠와 미로에서 두드러졌다. 더 놀라운 것은 이 계층적 추론 모델(Hierarchical Reasoning Model, HRM)의 크기가 2,700만 파라미터, 즉 억 단위가 아니라 천만 단위라는 점이다.

문제 설정은 단순하다. 9×9 스도쿠 격자를 숫자 나열로 표현하고 빈칸은 0으로 둔다. 정답도 같은 형식의 숫자 나열이다. 모델은 임베딩 층으로 입력을 받아 내부 표현을 만들고, 출력 헤드가 그 표현을 다시 예측 답안으로 되돌린다. 학습은 예제 퍼즐을 주고 예측과 정답의 차이를 줄이는 방식이다.

그렇다면 어떤 모델을 쓸 것인가. 흔한 선택은 다중 헤드 셀프 어텐션·피드포워드·정규화 층으로 이뤄진 트랜스포머 블록을 쌓는 것이다. 그런데 스도쿠 정확도를 파라미터 수에 따라 보면 흥미로운 패턴이 나온다. 트랜스포머의 폭을 단순히 넓히는 것으로는 성능이 좋아지지 않고, 깊이를 늘리는 것이 결정적이다. 문제는 깊이를 늘리면 전체 파라미터 수가 급격히 불어난다는 점이다.

널리 쓰이는 우회로는 사고의 사슬(chain of thought)이다. 모델이 추론 단계를 자연어로 직접 써 내려가며 문제를 중간 단계로 쪼갠다. 하지만 초반 단계에서 생긴 오류가 뒤로 전파되고, 상세한 추론 흔적을 생성하도록 학습시키는 데 많은 계산과 데이터가 든다. 대안이 순환 신경망이다. 순환 구조에서는 각 블록이 같은 파라미터를 재사용하므로, 같은 계산을 여러 번 펼치는 것만으로 테스트 시점에 임의의 깊이를 얻을 수 있다. 다만 은닉 표현이 여러 번 갱신되는 사이 모델이 원래 문제의 맥락을 잃어간다는 문제가 생긴다. 이를 막기 위해 매 반복마다 임베딩된 입력 표현을 다시 주입하는 기법(리콜 또는 입력 주입)을 쓰면 정확도가 표준 트랜스포머보다 높아진다. 그래도 반복 횟수를 계속 늘리면 성능이 정체하다 결국 떨어진다.

HRM의 핵심 아이디어가 여기서 나온다. 기존 순환 모델을 빠르고 세밀한 계산을 담당하는 하위 모듈로 보고, 그 위에 더 추상적이고 신중한 처리를 맡는 상위 순환 모듈을 얹는다. 상위 모듈도 순환 블록이지만 자기만의 파라미터를 갖는다. 두 모델은 결합돼 작동한다. 상위 모듈의 은닉 상태 Z는 하위 모듈의 상태를 갱신할 때 조건 입력으로 쓰이는데, 하위 단계 T번이 도는 한 주기 동안 Z는 그대로 유지된다. T번의 하위 단계가 끝나면 상위 모듈이 그 주기의 마지막 하위 상태를 받아 자기 상태를 갱신한다. 상위 모듈은 긴 시간 지평의 추상적 표현을 만들고 하위 모듈은 즉각적이고 세밀한 계산을 처리하는 분업이며, 전체 과정은 상위 주기 N번 × 하위 단계 T번으로 구성된다. 깊이를 늘려갈 때 HRM은 어려운 스도쿠에서 거의 완벽한 정확도에 도달해 기존 방법들을 앞선다.

학습에는 별도의 기법이 필요하다. 순환 블록을 여러 번 반복하면 표준 방식으로는 모든 시간 단계에 그래디언트를 역전파해야 해 계산과 메모리 부담이 크다. 그러나 상위·하위 모듈의 은닉 상태가 고정점에 수렴하고 나면 마지막 한 단계만 역전파해도 되므로, 시간축으로 펼친 계산을 저장할 필요가 없어 메모리가 크게 줄어든다. 유효 깊이를 더 키우려면 추론 시 HRM을 여러 번 순전파하는데 이 각각을 세그먼트라 부르고, 학습을 다루기 쉽게 만들기 위해 딥 슈퍼비전을 써서 각 세그먼트의 그래디언트가 이전 세그먼트로 흘러가지 않게 막는다. 마지막으로 모든 문제가 최대 반복 횟수를 필요로 하지는 않으므로, 각 세그먼트 끝에서 선형 층과 시그모이드로 계속할지 멈출지를 예측해 문제마다 계산량을 적응적으로 배분한다. 다만 범용 대형언어모델과 달리 HRM은 특정 추론 과제를 위해 학습된 모델이라는 점은 짚어둘 필요가 있다.

주요 인사이트

• 추론 과제에서 모델 성능을 좌우한 것은 파라미터의 총량이 아니라 연산의 깊이였다. 폭을 넓히는 확장은 여기서 거의 효과가 없었다.
• 순환 구조는 파라미터를 늘리지 않고 깊이를 사는 방법이다. 파라미터 수와 계산 깊이를 분리해 생각하면 소형 모델의 가능성이 달라 보인다.
• 반복이 길어질수록 입력 맥락이 흐려지는 문제는 매 단계 입력을 다시 주입하는 것만으로 상당 부분 완화된다.
• 빠른 계산과 느린 추상화를 서로 다른 주기로 도는 두 모듈로 분리한 것이, 단순 반복이 부딪히던 성능 한계를 넘어서는 열쇠였다.
• 고정점 수렴을 전제로 마지막 한 단계만 역전파하는 근사는, 깊은 순환 모델의 학습 비용 문제를 실용적으로 푸는 방식이다.
• 2,700만 파라미터와 예제 1,000개로 이런 결과가 나온다는 것은, 범용 모델을 키우는 길 말고도 과제 특화 구조 설계의 여지가 크다는 뜻이다.

자주 묻는 질문

관련 AI 소식