오픈AI o1 추론 원리 분석: 사고 사슬 토큰과 결과·과정 감독 보상 모델로 되짚은 강화학습 방식

핵심 메시지

• o1이 '생각한다'는 말은 답을 내기 전에 사고 사슬(CoT) 토큰을 더 만들어낸다는 뜻이며, 사용자에게는 원문이 아니라 모델이 만든 요약만 보인다.
• 오픈AI는 기술 문서에서 강화학습으로 비공개 사고 사슬을 학습시켰다는 사실만 밝혔고, 구체적 방법은 공개하지 않았다.
• 영상의 설명은 오픈AI가 이전에 낸 보상 모델 논문을 근거로 한 추정이며, 발표자 스스로 확정된 사실이 아니라고 못 박는다.
• 정답을 기계적으로 검증할 수 있는 수학·코딩 영역에서 성능이 크게 오른 점이, 결과 감독 보상 모델을 썼으리라는 추정을 뒷받침한다.
• o1도 결국 LLM이라 글자 수 세기 같은 단순한 실수와 환각이 남아 있어, 결과를 그대로 믿어서는 안 된다.

쉽게 이해하기

오픈AI o1은 개발 단계에서 '스트로베리'라는 코드명으로 불렸고, 'strawberry'에 든 r의 개수를 세는 문제를 풀어낸 것으로 화제가 됐다. 그런데 영상 진행자가 직접 시험해 보니 r 개수를 늘 맞히는 것도 아니었고, t를 세는 문제에서는 여전히 틀렸다. 그럼에도 이전 모델보다 코딩과 복잡한 수학 문제에서 뚜렷하게 나아진 점은 인정할 만하다는 평가다.

여기서 '생각한다'는 표현은 은유가 아니라 아주 구체적인 동작을 가리킨다. 모델이 최종 답을 내기 전에 사고 사슬(chain-of-thought)이라 부르는 보조 토큰을 길게 만들어내고, 그 과정을 거쳐 더 나은 답에 도달한다는 뜻이다. 다만 챗GPT 화면에서는 이 사고 사슬 원문을 볼 수 없고 모델이 스스로 요약한 내용만 표시되는데, 오픈AI가 경쟁 우위를 지키려고 원문을 감췄기 때문이다.

오픈AI의 기술 문서는 강화학습으로 이 비공개 사고 사슬을 만들도록 가르쳤다는 정도만 밝힌다. 대신 학습 단계에 연산을 더 쓸 때와 추론 단계에 연산을 더 쓸 때 각각 성능이 어떻게 오르는지를 보여주는 두 개의 그래프를 함께 내놨다. 영상은 이 부스러기 같은 단서에서 출발해, 오픈AI가 앞서 발표했던 보상 모델 논문을 겹쳐 놓고 학습 구조를 되짚는다.

그 논문은 환각을 잡아내는 보상 모델을 두 가지 방식으로 학습시켰다. 하나는 최종 결과만 보고 점수를 주는 결과 감독으로, 정답이 자동으로 검증되는 수학 데이터셋을 쓰면 사람이 일일이 라벨을 달 필요가 없다. 다른 하나는 사고 사슬의 단계마다 맞고 틀림을 알려주는 과정 감독으로, 이쪽은 사람이 각 단계의 정확성을 표시해 준 제한된 데이터로 보상 모델을 먼저 학습시킨 뒤 그 보상 모델이 대신 무한정 피드백을 주게 만든다.

이 두 보상 모델을 합치면 학습 그림이 그려진다. 모델은 알파고가 수를 두듯 토큰을 이어 붙이며 여러 갈래의 사고 경로를 만들고, 과정 감독 보상 모델이 경로의 질을, 결과 감독 보상 모델이 최종 답의 정오를 평가한다. 잘된 경로에는 공을, 잘못된 경로에는 책임을 물어 가중치를 조정하는 일을 대규모 데이터로 반복하면, 답을 외우는 대신 추론 과정 자체가 나아진다는 설명이다.

주요 인사이트

• 정답을 자동으로 채점할 수 있는지가 성능 향상의 갈림길이다. 수학과 코딩은 컴파일러와 검증기로 맞고 틀림을 기계적으로 가릴 수 있어 합성 학습 데이터를 대량으로 만들 수 있고, 실제로 o1의 개선도 바로 이 영역에 몰려 있다.
• 반대로 문체를 바꾸거나 평범한 글을 다루는 것처럼 추론이 크게 필요 없는 작업에서는 o1이 GPT-4o보다 낫다고 보기 어렵다. 모델을 무조건 최신 것으로 바꾸기보다 작업 성격에 맞춰 고르는 편이 낫다는 뜻이다.
• 추론 토큰을 감춘 결정에는 이용자 입장의 비용 문제가 딸려 온다. 눈으로 확인할 수 없는 토큰에도 요금이 매겨지고, 모델이 어떤 근거로 그 답에 도달했는지 검증할 길도 막힌다.
• 보상 모델 역시 LLM으로 만들어졌다는 점이 한계의 뿌리다. 완벽하지 않은 평가자가 학습을 이끄는 구조이므로 환각과 어이없는 실수가 남는 것은 놀랄 일이 아니며, 결과를 판단할 전문성 없이 그대로 받아들이면 위험하다.

자주 묻는 질문

관련 AI 소식