추론 LLM 작동 원리: 같은 트랜스포머가 생각하게 되는 이유와 테스트 타임 컴퓨트

핵심 메시지

• 일반 모델과 추론 모델은 같은 트랜스포머 구조를 쓴다. 달라진 것은 아키텍처가 아니라 훈련 방식이다.
• 추론 모델은 답을 내기 전에 내부적으로 5천~3만 개 규모의 토큰을 소비하며 여러 경로를 시도하고, 막히면 되돌아가 다른 길을 찾는다.
• '막히면 되돌아가라'는 규칙은 사람이 코딩해 넣은 것이 아니라, 정답에 보상을 주는 훈련 과정에서 그 전략이 유리했기 때문에 나타났다.
• 검증 가능한 문제에 강화학습을 적용하는 네 번째 훈련 단계가 핵심이며, GRPO는 별도 비평 신경망 없이 이를 대규모로 실용화했다.
• 추론 능력은 사실 정확성과 같지 않다. 오픈AI의 PersonQA 기준 환각률은 GPT-4o 8%에서 o1 16%, o3 33%로 오히려 높아졌다.

쉽게 이해하기

같은 수학 문제를 두 모델에 던지면 반응이 갈린다. 일반 언어 모델은 몇 초 만에 자신 있게 답을 내놓지만 조건을 다 만족하지 못하고, 추론 모델은 곧바로 답하지 않고 조건의 의미부터 따진다. 후보를 세워 확인하고, 다른 형태가 가능한지 살피다 모순에 부딪히면 되돌아가고, 살아남은 경로가 하나로 모일 때 결론을 낸다. 놀라운 점은 두 모델이 같은 트랜스포머 구조를 쓴다는 사실이다.

영상은 이 차이를 사람의 사고에 빗대 설명한다. '2 더하기 2'는 계산하지 않고 곧바로 아는 빠른 사고이고, 이차방정식은 인수분해하고 대입해 확인하는 느린 사고다. 기존 언어 모델은 주로 앞의 방식으로 다음 단어를 예측하지만, 추론 모델은 계획을 세우고 단계를 밟은 뒤 점검하는 방식을 불러올 수 있다. 그 대가로 최종 답변을 내놓기 전에 훨씬 많은 내부 토큰을 소모한다.

훈련의 차이가 결정적이다. 기존 파이프라인은 사전학습, 지시 튜닝, 선호도 정렬의 세 단계로 이뤄지는데 어느 것도 추론 자체를 직접 최적화하지 않는다. 유창하고 도움이 되며 안전한 모델은 되지만 다단계 사고나 검증에 능해지는 것은 아니다. 여기에 정답 여부를 자동으로 확인할 수 있는 문제로 강화학습을 돌리는 네 번째 단계가 더해진다. 모델이 사고 과정과 답을 내놓고 맞으면 보상을 받는 단순한 반복이다.

이 과정을 대규모로 굴릴 수 있게 만든 기법이 GRPO다. 하나의 문제에 여러 답을 뽑아 자동으로 정답 여부를 확인하고, 맞은 집단과 틀린 집단을 비교해 상대적인 우열을 계산한 뒤 정답으로 이어진 패턴의 확률을 높인다. 별도의 비평 신경망을 두지 않고도 기존 방식보다 두세 배 효율적이라는 설명이다. 훈련이 진행되면서 풀이 과정을 드러내고, 답을 검증하고, 여러 접근을 시도하고, 불확실성을 표현하는 행동이 차례로 나타났다.

가장 분명한 증거는 추론 예시를 전혀 주지 않은 실험이다. 성능이 되는 기반 모델에 수학과 코드 문제로 강화학습만 적용하고 정답에만 보상을 주자, 모델은 스스로 설명을 붙이고 자기 점검을 하고 두 번째 방법으로 교차 확인하는 데까지 나아갔다. 딥시크가 2025년 보고서에서 기록한 것이 이 과정이다. 오픈AI 역시 2024년 자료에서 o1 프리뷰가 GPT-4 계열과 같은 트랜스포머를 쓴다고 밝혔다. 혁신은 무엇을 만드느냐가 아니라 어떻게 훈련하느냐에 있었다는 것이다.

다만 대가도 분명하다. 강화학습은 수학과 코드처럼 정답을 검증할 수 있는 영역에서 정확도를 끌어올리지만, 열린 사실 질문에는 같은 피드백이 주어지지 않는다. 그 결과 모델은 불확실해야 할 상황에서도 자신 있게 추론을 밀어붙인다. 오픈AI의 PersonQA 지표에서 환각률이 GPT-4o 8%, o1 16%, o3 33%로 올라간 것이 그 사례로 제시된다. 추론 능력과 사실 신뢰성은 별개이며 둘 다 필요하다는 것이 영상의 결론이다.

주요 인사이트

• 성능 향상의 축이 하나 늘었다. 더 큰 모델과 더 많은 데이터에 더해, 추론 시점에 더 오래 생각하게 하는 '테스트 타임 컴퓨트'로 정확도를 살 수 있게 됐다.
• 구조를 바꾸지 않고도 행동을 크게 바꿀 수 있다는 점은, 앞으로의 경쟁이 아키텍처보다 훈련 설계와 보상 설계에서 갈릴 수 있음을 시사한다.
• 추론 전략을 사람이 규칙으로 심는 대신 보상 구조로 유도했다는 점이 핵심이다. 원하는 행동을 직접 가르치기보다 그 행동이 유리해지는 환경을 만드는 접근이다.
• 환각률 상승은 보상이 주어지는 영역과 그렇지 않은 영역의 격차에서 비롯된다. 검증하기 어려운 질문일수록 추론 모델의 자신감을 그대로 믿기 어렵다.
• 추론 모델의 내부 토큰 소모가 수천에서 수만 개에 이른다는 점은 비용과 응답 속도에 직접 영향을 준다. 모든 작업에 추론 모델을 쓸 이유는 없다는 뜻이기도 하다.

자주 묻는 질문

관련 AI 소식