테스트타임 컴퓨트란? AI 추론모델이 답하기 전 '생각'하는 이유

핵심 메시지

• 지금까지 AI를 똑똑하게 만드는 방법은 파라미터·데이터·연산을 키우는 '학습타임 컴퓨트'였고, 학습된 가중치는 그 뒤 고정된다.
• 테스트타임 컴퓨트는 학습이 아니라 모델이 '실행될 때(추론 시점)' 연산 예산을 더 쓰게 하는 방식으로, 챗봇이 보여주는 '생각 중' 표시가 바로 이것이다.
• 사고 토큰을 만드는 사고연쇄(chain of thought), 트리 탐색, 자기일관성(다수결) 등이 추론 시점에 정확도를 높이는 핵심 메커니즘이다.
• 구글 딥마인드의 2024년 연구는 테스트타임 컴퓨트가 자체적인 스케일링 법칙을 따르며, 작은 모델도 더 오래 생각하면 훨씬 큰 모델을 이길 수 있음을 보였다.
• 다만 지연 시간 증가, 토큰 비용 상승, 단순한 질문에 대한 '과잉 사고' 같은 대가가 있어, 질문 난이도에 따라 경로를 나누는 적응형 방식이 현실적 해법이다.

쉽게 이해하기

거대 언어모델은 트랜스포머 구조에 막대한 데이터를 넣어 다음 토큰을 예측하도록 학습되며, 이 과정에서 언어·추론·지식·코딩 능력이 가중치에 압축된다. 오랫동안 모델을 더 똑똑하게 만드는 공식은 파라미터·데이터·연산을 키우는 것이었고, 스케일링 법칙이 이를 뒷받침해 왔다. 영상은 이를 '학습타임 컴퓨트'라 부르는데, 수개월의 연산과 수백만 달러가 드는 고정 비용이며 학습이 끝나면 가중치는 동결된다.

동결된 모델은 이메일 요약이든 대학원 수준 물리 문제든 동일하게 토큰을 하나씩 내보내는 단 한 번의 순방향 패스로 처리한다. 매 토큰은 통계적으로 가장 그럴듯한 것을 골라 내보내는 '되돌릴 수 없는 약속'이어서, 첫 토큰이 잘못된 방향으로 가면 모델은 그대로 밀고 나간다. 영상은 이것이 LLM이 그럴듯하게 환각을 일으키는 한 이유라고 설명한다.

테스트타임 컴퓨트는 이 한계를 보완한다. 모델에게 추론 시점의 연산 예산을 주고 그 예산을 어떻게 쓸지 스스로 정하게 하는 것이다. 가장 눈에 띄는 메커니즘은 사고연쇄로, 누구나 '단계별로 생각하라'고 프롬프트하면 유도할 수 있지만, 최근의 '추론 모델'은 강화학습을 통해 이 과정을 자동으로 수행하도록 훈련된다. 강화학습에서 중간 추론 토큰을 만들면 더 높은 보상을 받기에, 모델은 답을 내기 전에 '사고 토큰'을 먼저 생성한다.

사고 토큰 자체는 비용이 드는 실제 출력 토큰이지만, 순방향 패스의 쓰임을 바꾼다. 최종 답을 첫 단어부터 확정하는 대신, 사고 토큰은 일종의 연습장이 되어 한 접근을 시도하고 막히면 다른 각도로 바꿀 수 있다. 두 번째 메커니즘인 탐색은 추론 사슬을 가지치기하듯 분기시키고 검증기로 유망한 가지를 골라 내려간다. 세 번째인 자기일관성은 같은 문제를 높은 온도로 여러 번 풀어 다수결로 답을 정해, 별도 검증기 없이 모델 자체 출력 분포를 신호로 삼는다.

이 세 메커니즘은 모두 연산을 정확도와 맞바꾼다. 구글 딥마인드의 2024년 논문은 테스트타임 컴퓨트가 자체 스케일링 법칙을 따른다는 것을 보였고, 30억 파라미터급 작은 모델이 탐색 전략을 쓰면 어려운 수학 문제에서 700억급 모델을 능가하기도 했다. 대신 지연 증가, 토큰 비용, 단순 질문에 대한 과잉 사고라는 대가가 있다. 학습 연산이 한 번 내는 자본적 지출이라면 테스트타임 컴퓨트는 질문마다 내는 운영 비용이므로, 쉬운 질문은 빠른 단일 패스로, 어려운 질문은 전체 추론 파이프라인으로 보내는 적응형 라우팅이 오늘날 다수 챗봇의 방식이다.

주요 인사이트

• 학습타임 컴퓨트(자본적 지출, 1회성)와 테스트타임 컴퓨트(운영 비용, 질문당 과금)는 성격이 달라, AI 비용 구조를 이해하는 새로운 관점을 제공한다.
• '추론 모델'이 일반 모델과 다른 점은 강화학습으로 사고연쇄가 모델 내부에 각인되어 답 이전에 자동으로 사고 토큰을 생성한다는 데 있다.
• 사고 토큰은 최종 답을 확정하기 전의 '연습장' 역할을 해, 잘못된 첫 토큰에 끌려가던 환각·오답 위험을 줄인다.
• 더 오래 생각한다고 항상 좋은 것은 아니다. 단순한 질문에 추론을 강요하면 스스로를 의심하다 오답에 이르는 '과잉 사고'가 생긴다.
• 모델 크기 키우기에 더해 추론 시점 연산이 또 하나의 확장 축이 되면서, 작은 모델로도 큰 성능을 끌어내는 길이 열렸다.

자주 묻는 질문

관련 AI 소식