AI VIDEO BRIEFING

HRM 논문 분석: 2700만 파라미터 계층적 추론 모델의 구조와 ARC-AGI 성적 논란

싱가포르 연구소가 내놓은 계층적 추론 모델 HRM은 사전학습 없이 2700만 파라미터로 ARC-AGI 순위표에 올랐다. 잠재 재귀 구조와 데이터 증강 방식, 그리고 벤치마크 평가를 둘러싼 논란을 함께 짚어 본다.

출처: Julia Turc2025년 9월 8일AI 보조 요약

27M 파라미터로 ARC-AGI에 올라선 HRM, 실속인가 과장인가 영상 대표 이미지

핵심 메시지

HRM은 파라미터 2700만 개, 학습 데이터 1000건, 사전학습 없음이라는 조건으로 ARC-AGI 순위표에 이름을 올렸다.
트랜스포머는 층 수가 고정돼 있어 백트래킹처럼 깊은 순차 추론이 필요한 문제를 원리적으로 못 푼다는 것이 출발점이다.
생각의 사슬이 추론 루프를 출력 토큰으로 밖에 내놓는다면, HRM은 그 루프를 모델 내부의 잠재 공간으로 집어넣는다.
성능을 실제로 끌어올린 것은 이름에 붙은 계층 구조보다 세그먼트를 반복하는 바깥 루프와 깊은 지도학습이다.
평가셋 예제를 증강해 학습에 넣고 과제 임베딩까지 학습시킨 방식이 ARC의 규칙은 지켰어도 취지는 어겼다는 비판을 받았다.

쉽게 이해하기

지난 5년간 대형 언어 모델의 엔진은 트랜스포머였고, 경쟁은 데이터와 파라미터를 더 키우는 방향으로 흘렀다. 싱가포르의 소규모 연구소 세이피언트 인텔리전스가 내놓은 계층적 추론 모델(HRM)은 그 전제에 의문을 던진다. 파라미터 2700만 개, 학습 데이터 1000건, 사전학습 없음이라는 조건인데도 난도 높은 벤치마크 ARC-AGI에서 오픈AI와 앤스로픽 모델들 사이에 자리를 잡았고, 그만큼 화제와 반발을 동시에 불러왔다.

문제의식은 트랜스포머의 구조적 한계에서 출발한다. 스도쿠처럼 수를 놓아 보고 규칙을 어기면 되돌아가는 백트래킹 탐색은 부모 노드에 의존하는 순차 연산의 사슬인데, 트랜스포머는 층 T개를 순차로 쌓고 각 층에서 토큰을 병렬 처리하므로 추론 경로가 T를 넘으면 아예 실행할 수 없다. 빠진 조각은 필요한 만큼 계산을 시간축으로 펼치는 재귀이고, 오늘날의 LLM은 생각의 사슬로 그 반복을 중간 단계 텍스트에 적어 두는 임시 메모장처럼 쓴다. 다만 추론이 느려지고 상당수 사업자가 감춰 두는 토큰에 GPU 시간을 쓰게 되는데, HRM은 이 메모장을 모델 안으로 옮겨 재귀를 출력 토큰이 아닌 잠재 공간에서 돌린다.

구조를 뜯어보면 인코더 전용 트랜스포머에 회전 위치 인코딩, 게이트 선형 유닛, RMSNorm, Adam 등 익숙한 부품이 들어간다. 특이한 것은 같은 파라미터를 공유한 채 반복 처리하는 잠재 재귀와, 매 단계 입력을 다시 넣어 주는 방식이다. 여기에 저자들은 쥐 해마의 세타·감마 결합에서 착안해 27M을 두 개의 동일한 모듈로 나눴다. 빠른 주기의 L 모듈이 T번 자기 위에서 돌고, 느린 주기의 H 모듈이 그 결과만 받아 다시 내려보내기를 N번 반복한 뒤 H의 최종 상태가 예측으로 나간다.

학습에는 시간축을 다 펼치는 대신 마지막 수렴 지점에서 한 걸음만 미분하는 근사가 쓰인다. 여기에 세그먼트를 여러 번 반복하며 매 세그먼트마다 손실을 계산하고 파라미터를 갱신한 뒤 기울기를 초기화하는 깊은 지도학습이 얹힌다. 영상에서 해설자는 이름값을 하는 계층 구조보다 이 바깥 루프가 성능의 핵심 동력이라고 못 박는다. 중간 출력과 파라미터 상태를 보고 더 돌릴지 멈출지 결정하는 Q 헤드까지 붙어 적응적 연산 시간도 구현된다.

성적은 갈린다. 스도쿠에서 일반 트랜스포머가 층을 더 쌓아도 60% 부근에서 정체하는 반면 HRM은 거의 완벽에 가깝다. 다만 그 데이터셋이 모델과 같은 논문에 함께 실렸다는 점은 검증 관점에서 약점이다. ARC-AGI에서는 사람이 98%, o3가 75%, 그록-4가 66% 이상인 순위표에서 HRM이 중간에 자리했는데, ARC 측은 HRM이 평가셋 예제를 회전·반전 등으로 1000개로 늘려 학습에 넣고 과제 임베딩까지 학습시킨 점을 문제 삼았다. ARC가 재현 실험에서 같은 크기의 평범한 트랜스포머와 비교하자 격차는 5%포인트 미만이었고 바깥 루프를 늘릴수록 좁혀졌다.

주요 인사이트

HRM이 ARC 순위표에서 차지한 위치는 겉보기보다 해석이 까다롭다. 범용 LLM과 달리 HRM은 ARC만을 위해 학습된 모델이고 대화도 되지 않아, 같은 잣대로 줄을 세우는 것 자체가 공정하지 않다.
이 논문에서 실제로 배울 점은 '작은 모델이 이겼다'가 아니라 추론 루프를 어디에 둘 것인가라는 질문이다. 텍스트로 밖에 내놓을지, 잠재 공간에서 돌릴지의 선택은 비용 구조를 완전히 바꾼다.
논문 한 편에 새 모델과 새 벤치마크를 함께 싣는 관행은 신뢰를 깎는다. 벤치마크가 별도 논문으로 나와야 커뮤니티가 데이터 유출 같은 문제를 검증할 기회를 얻는다.
퍼즐 임베딩은 사실상 '지금 무슨 변환을 풀어야 하는지'를 알려 주는 해시에 가깝다. 사전학습이 없는 모델이 신호 대 잡음비를 확보하는 장치이지만, 논문에서는 한 문장으로만 설명돼 재현을 어렵게 한다.
결론은 기각도 승인도 아닌 유보에 가깝다. 어려운 벤치마크에서 0이 아닌 점수를 냈다는 사실이 규모를 키워 볼 명분은 되지만, 그것이 트랜스포머를 대체한다는 근거는 아니다.

자주 묻는 질문

HRM은 대형 언어 모델인가?

아니다. 텍스트를 생성하지 않고 대화도 되지 않는 인코더 전용 모델로, 특정 퍼즐 과제를 풀도록 학습된다. 영상에서도 범용 LLM과 직접 비교하는 것은 같은 조건의 비교가 아니라고 지적한다.

왜 트랜스포머는 스도쿠 같은 문제에 약한가?

백트래킹 탐색은 부모 단계에 의존하는 순차 연산의 사슬이라 병렬 처리로 나눌 수 없다. 트랜스포머는 층 수가 고정돼 있어 추론 경로가 층 수보다 길어지면 그 계산을 실행할 방법이 없다.

ARC 측이 문제 삼은 지점은 무엇인가?

HRM이 평가셋의 예시 쌍을 회전 같은 변환으로 1000개까지 늘려 학습 데이터에 넣고 과제 임베딩을 함께 학습시킨 점이다. 규칙상 허용될 수는 있어도 완전히 새로운 과제에 대한 귀납 추론을 보려던 ARC의 취지와는 맞지 않는다는 지적이다.

원문과 출처

이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.

YouTube 원본 영상 보기 ↗