추론 모델은 어떻게 작동하나: 닐 난다가 설명한 생각하는 모델의 원리와 사고 사슬 신뢰성

핵심 메시지

• o1 이전에도 사고 사슬(chain of thought)은 있었지만 대체로 우연에 가까웠다. o1의 차별점은 이를 의도적으로, 그것도 지도학습이 아닌 강화학습으로 강하게 유도했다는 데 있다.
• 닐 난다는 현대 머신러닝 전체를 '연산량이 지능이 된다'는 이야기로 요약한다. 추론 시점 연산량을 늘리는 법을 모델이 스스로 익힌 것이 추론 모델의 본질이라는 것이다.
• 그의 핵심 가설은 추론 모델이 '암묵적 스캐폴드'를 학습했다는 것이다. 되돌아가기, 지식 인출, 불확실성 표명 같은 소수의 반사적 행동 패턴을 언제 꺼낼지 배운 결과라는 해석이다.
• 여러 토큰에 걸친 생성을 해석하는 일은 단일 토큰 해석보다 훨씬 어렵다. 어떤 토큰이 어떤 토큰에 의존하는지가 불분명하고, 중간에 이산적인 샘플링 병목이 끼어들기 때문이다.
• '충실한(faithful) 사고 사슬'이라는 표현은 최소 다섯 가지 의미로 쓰이고 있어 쓰지 말자고 그는 강하게 권한다. 대신 완전성과 감시 가능성 같은 더 구체적인 용어로 쪼개 쓸 것을 제안한다.

쉽게 이해하기

이 강연은 닐 난다가 자신이 운영하는 MATS 8.0 연구 교육 프로그램에서 '생각하는 모델(thinking models)'을 주제로 진행한 것이다. 그는 서두에서 이 주제로 프로젝트가 지나치게 몰릴까 걱정된다며, 이 강연이 다른 주제를 하지 말라는 뜻은 아니라고 먼저 못을 박았다.

그는 최근 흐름을 이렇게 정리한다. GPT-3 시절에도 '단계적으로 생각해 보라'고 시키면 성능이 올라간다는 사실이 배포 후에 발견됐지만, 그건 인터넷에 널린 풀이 과정을 흉내 낸 부산물에 가까웠다. o1이 특별했던 이유는 두 가지다. 사고 사슬을 쓰도록 매우 적극적으로 유도했다는 점, 그리고 지도학습 대신 강화학습을 썼다는 점이다. 강화학습은 피드백이 성공·실패 한 비트뿐이라 학습 난이도가 훨씬 높지만, 그만큼 복잡한 전략을 익힐 여지를 준다.

왜 이게 중요한가. 그는 학습에 막대한 연산을 쏟고 추론에는 아주 조금만 쓰는 구조가 머신러닝 역사 대부분을 지배해 왔다고 지적한다. 직관적으로는 추론 시점에 연산을 더 쓰면 더 잘해야 하는데, GPT-4에게 20쪽을 생각하라고 해도 1쪽 생각할 때보다 나아지지 않았다. 20번 돌려 다수결을 취하는 식의 조잡한 우회로는 있었지만, o1 방식은 그런 임시방편 없이 모델 스스로 추론 연산을 생산적으로 쓰는 법을 배우게 했다.

그는 여기서 스캐폴드(scaffold) 이야기를 꺼낸다. 모델을 여러 번 호출해 다수결을 취하거나 서로 비평하게 만드는 외부 장치가 스캐폴드인데, 이는 사람의 직관을 구조에 박아 넣는 일이다. 합성곱 신경망이 '가까운 픽셀이 더 중요하다'를 하드코딩한 반면 어텐션은 그 패턴을 모델이 배우게 둔 것처럼, 결국은 연산에 맡기는 쪽이 이긴다는 것이 그의 예상이다. 리치 서튼의 '쓰라린 교훈(The Bitter Lesson)'을 이 맥락에서 강력히 추천한다.

그렇다면 왜 일반 모델은 오래 생각해도 나아지지 않을까. 청중은 루프에 빠진다는 점, 초기 추론을 과신하고 교정 수단이 없다는 점을 꼽았다. 난다가 덧붙인 이상적인 스캐폴드의 요건은 여러 선택지를 떠올려 평가하고 최선을 고른 뒤 재귀적으로 반복하는 것, 중간중간 지금 하는 일이 타당한지 점검하는 것, 틀렸다 싶으면 되돌아가는 것, 관련 지식을 스스로 끄집어내 최근 문맥에 올려두는 것이다. 그는 여기에 층(layer) 관점의 설명을 더한다. 두 단계를 한 번에 처리하려면 절반의 층씩 나눠 써야 하지만, 한 단계씩 나누면 각 단계에 모든 층을 쓸 수 있다.

그가 지도한 콘스탄틴·이반의 초기 논문은 이 가설에 실증적 근거를 준다. LLM과 그 R1 증류 버전을 모델 디핑으로 비교했더니, 차이의 상당 부분이 계획 수립, 논리적 연역, 사실 인출, 예시 생성, 불확실성 표명, 되돌아가기 같은 소수의 행동 패턴으로 설명됐다. 더 흥미로운 건 KL 발산이 크게 벌어지는 구간이 각 패턴의 첫 몇 토큰뿐이라는 점이다. 모델이 '잠깐, 다시 생각해 보자'라고 말한 뒤부터는 두 모델이 꽤 비슷해진다.

주요 인사이트

• 난다는 되돌아가기를 '조건이 아주 지저분한 if 문'에 비유한다. 얼마나 불확실한지, 현재 방향을 얼마나 오래 붙잡고 있었는지, 최근에 진전이 있었는지 등이 조건에 얽혀 있다. 반면 되돌아가기를 실제로 수행하는 능력 자체는 베이스 모델도 이미 갖고 있다. 학습으로 새로 얻은 것은 '언제' 꺼낼지에 대한 판단이라는 것이다.
• 증류(distillation)가 잘 통하는 이유도 같은 틀로 설명된다. 언제 되돌아갈지 같은 전략은 그 자체로 복잡하지 않고, 다만 강화학습으로 처음 발견하기가 어려울 뿐이다. 일단 R1이 존재하면 고품질 학습 데이터를 뽑아내기는 쉬워진다. 다만 그는 '가능하다'와 '쉽다'는 다른 말이라고 덧붙인다.
• 그가 가장 좋아한다고 밝힌 사례는 사고 사슬이 결론을 정당화하는 데 동원되는 경우다. 잘 알려지지 않은 발리우드 영화 두 편의 개봉 순서를 물으면, 순서를 바꿔 물어도 모델은 양쪽 다 '그렇다'고 답하며 그때그때 사실을 잘못 떠올려 근거를 만들어낸다. 논리적으로 동시에 참일 수 없는데도 그렇다.
• 그가 이 사례를 높이 평가하는 이유는 인위적이지 않기 때문이다. 기존 연구들은 답이 모두 A인 객관식을 열 개 넣어두는 식의 작위적 설정을 썼지만, '영화 A가 영화 B보다 늦게 나왔나'는 누구나 물을 법한 평범한 질문이다.
• 그럼에도 그는 사고 사슬 감시가 유망한 방향이라고 본다. 사고 사슬이 모델의 능력을 높이는 가장 자명한 경로가 중간 단계를 실제로 적어 내려가는 것이기 때문이다. 따라서 어려운 문제일수록 핵심 단계가 사고 사슬에 드러날 가능성이 크고, 감시의 가치도 그만큼 커진다는 예측을 내놓는다.

자주 묻는 질문

관련 AI 소식