테스트 타임 트레이닝(TTT): 긴 문맥을 새 구조 없이 푸는 LLM 학습법 해설

핵심 메시지

• 2025년 12월 스탠퍼드·버클리·엔비디아·아스테라 연구소가 낸 '엔드투엔드 테스트 타임 트레이닝(TTT)' 논문은 긴 문맥을 아키텍처 문제가 아니라 '계속 학습(continual learning)' 문제로 본다.
• 모델을 배포 전에만 학습시키지 않고, 추론 중 토큰을 읽어가며 가중치를 갱신해 문맥을 가중치 안으로 흡수시킨다.
• 핵심은 정적 시작 가중치(W0)가 아니라 실제로 갱신될 가중치(W_{T-1})에서 손실을 평가하도록 학습 목표를 바꾼 것이며, 이 한 끗 차이가 성능 격차 전부를 만든다.
• 풀 어텐션에 근접한 정확도를 유지하면서 토큰당 디코딩 비용은 RNN처럼 일정해, 12만 8천 토큰에서 약 2.7배 빠르다.
• 다만 '건초더미 속 바늘' 같은 정확 회상에는 약하고, 대략 7억 6천만 파라미터·480억 토큰 이상에서만 이점이 안정된다.

쉽게 이해하기

긴 문맥을 다루는 두 가지 전통적 방법에는 각각 약점이 있다. 풀 어텐션은 모든 토큰이 서로를 참조해 회상은 거의 완벽하지만 비용이 길이의 제곱으로 커진다. 반면 Mamba 2·게이티드 델타넷 같은 고정 크기 상태 방식은 디코딩 비용은 일정하지만, 모든 정보를 작은 메모리에 욱여넣어 문맥이 길어질수록 성능이 떨어진다.

이 논문은 다른 선택을 한다. 새 레이어를 설계하지 말고 평범한 트랜스포머를 그대로 두되, 추론 시점에도 계속 학습시키자는 것이다. 아이디어를 고립시켜 보이기 위해 저자들은 셀프 어텐션을 통째로 제거해 MLP만 남긴 '고장난' 모델에서 출발한다. 매 스텝마다 현재 가중치로 다음 토큰을 예측하고, 실제 다음 토큰과의 손실로 그 자리에서 경사 한 걸음을 밟는다. 그렇게 문맥이 조금씩 가중치로 스며들며 풀 어텐션에 근접한다.

성패를 가른 것은 아키텍처가 아니라 '학습 시점의 손실'이다. 소박한 버전은 테스트 타임 학습이 아예 없을 것처럼 시작 가중치 W0에서 손실을 최적화한다. 엔드투엔드 버전은 손실을 평가하는 지점을 실제로 경사 스텝을 밟은 뒤의 가중치 W_{T-1}로 바꾼다. 즉 좋은 정적 모델이 아니라 '테스트 타임 학습의 좋은 출발점'이 되도록 훈련하는 것이다.

구조는 두 개의 중첩 루프다. 내부 루프는 시작 가중치를 고정한 채 토큰별 손실로 경사 스텝을 밟는 테스트 타임 학습 자체이고, 외부 루프는 여러 시퀀스에 걸쳐 그 시작 가중치를 최적화한다. 대가도 있다. 경사의 경사를 미분해야 해서 최신 자동미분은 처리하지만 플래시 어텐션은 아직 지원하지 못하는 것이 현실적 장벽이다.

실전에서는 세 가지 설계가 이를 가능하게 한다. 첫째, 테스트 타임 학습은 MLP만 건드리고 임베딩·정규화·어텐션은 얼린다. 둘째, 블록의 마지막 4분의 1만 갱신한다(모델 크기와 무관하게 적용되는 규칙). 셋째, 갱신되는 블록마다 사전학습 지식을 지키는 정적 MLP와 문맥을 흡수하는 동적 MLP를 함께 두어 '망각'을 막는다.

주요 인사이트

• 결과는 12만 8천 토큰까지 풀 어텐션 대비 일정한 우위를 유지한다. Mamba 2·게이티드 델타넷은 문맥이 길어지면 손실이 위로 휘지만, 엔드투엔드 TTT는 8천~12만 8천 토큰 구간에서 평평한 이점을 유지한다.
• 비용은 추론에서 학습으로 옮겨간다. 8천 토큰에서는 일반 트랜스포머보다 약 3.4배 느리게 학습되지만, 12만 8천 토큰에서는 오히려 1.2배 빨라진다. 학습 때 한 번 값을 치르고 모델 수명 내내 저렴한 긴 문맥 추론을 사는 '추론 경제' 전략이다.
• 약점은 명확하다. 12만 8천 토큰에서 무작위 암호를 숨겨 되읽게 하는 '건초더미 속 바늘' 테스트에서 풀 어텐션이 99%를 맞출 때 이 방법은 6%에 그친다. 압축은 본질적으로 손실을 동반하며, 무작위 문자열은 압축 기반 메모리가 저장하기 가장 나쁜 대상이기 때문이다.
• 이 프레임은 기존 기법들을 하나로 묶는다. 키-값 결합이라는 단일 목표에서 갱신 가중치의 경사를 취하면 델타넷, 초기 가중치의 경사를 취하면 선형 어텐션, 비모수 커널로 풀면 셀프 어텐션이 나온다.
• 후속 연구도 이어진다. 바이트댄스·베이징대의 '인플레이스 TTT'는 메타러닝·외부 루프를 없애 기성 모델에 곧바로 꽂을 수 있게 했고, 'SRTT'는 놀라움(surprisal) 필터로 고유 토큰은 정확한 KV 캐시로, 일상적 문맥은 빠른 가중치로 보내 바늘 문제를 정면으로 노린다.

자주 묻는 질문

관련 AI 소식