생각의 사슬(체인 오브 소트) 원리와 한계 총정리 — CMU 대규모 언어모델 추론 강의 7강

핵심 메시지

• 생각의 사슬은 문제 난이도에 맞춰 계산량을 더 쓰게 해 주는 장치이며, 어려운 문제일수록 중간 단계를 길게 쓰는 것이 정답률을 끌어올린다.
• 이 능력은 모델에 따로 심어 넣은 것이 아니라 코드·수학 교재처럼 풀이 과정이 담긴 학습 데이터에서 자연스럽게 나타난 성질이다.
• 100편이 넘는 논문을 다시 분석한 연구에 따르면 생각의 사슬의 이득은 수학과 연역 추론에 크게 몰려 있고, 상식 문제에서는 효과가 뚜렷하지 않다.
• 모델이 내놓은 설명이 실제 판단 근거와 다를 수 있다는 '충실성' 문제는 사람이 중간 과정을 읽고 검증한다는 기대를 흔든다.
• 여러 번 답을 뽑아 다수결로 고르는 자기 일관성은 정확도를 높이지만 비용이 그만큼 늘어, 언제 멈출지 통계로 판단하는 방법이 대안으로 제시됐다.

쉽게 이해하기

카네기멜런대 그레이엄 뉴빅 교수가 대규모 언어모델 추론 수업에서 '생각의 사슬(chain of thought)'을 다뤘다. 출발점은 단순한 관찰이다. 사람도 2 더하기 3은 즉시 답하지만, GPU 사양을 근거로 특정 모델의 토큰 생성 속도 하한을 구하라는 문제는 종이에 적어가며 단계를 밟아야 한다. 언어모델도 마찬가지여서, 문제의 난이도에 따라 계산을 얼마나 쓸지 조절하는 장치가 필요하다는 것이다.

강의는 이 발상이 갑자기 등장한 것이 아니라고 짚는다. 2016년 순환신경망 연구에서는 입력의 복잡도에 따라 계산 단계 수를 스스로 정하도록 학습시키고, 단계를 많이 밟을수록 비용을 매기는 방식으로 효율을 유도했다. 언어모델에서는 이것이 훨씬 단순한 형태, 즉 답을 내기 전에 중간 추론 문장을 더 생성하는 방식으로 자리 잡았다.

왜 모델이 시키지도 않았는데 단계별 풀이를 할 수 있었는가에 대해 뉴빅 교수는 학습 데이터를 지목했다. 코드, 수학 증명, 초등 수학 교재처럼 풀이 과정이 그대로 적힌 문서가 인터넷에 이미 많다는 것이다. 예시 몇 개만 보여 줘도, 심지어 '단계별로 생각해 보자'는 한 문장만 붙여도 모델이 그 형식을 따라간다는 결과가 이를 뒷받침한다.

다만 강의의 절반은 한계에 할애된다. 100편이 넘는 선행 연구를 다시 분석하고 20개 데이터셋·14개 모델로 직접 실험한 연구는, 생각의 사슬의 이득이 수학과 연역 추론에 크게 몰려 있음을 보였다. 대학 수준 문제 모음에서 답에 등호가 들어간 문항만 따로 떼어 보니 이득이 사실상 그 계산 문항에서 나왔다는 분석도 소개됐다.

더 불편한 지점은 설명의 충실성이다. 보기의 정답 위치를 한쪽으로 몰아 두는 식으로 예시에 미묘한 편향을 넣자, 모델은 편향된 답을 고르면서도 그럴듯한 근거 문장을 붙여 냈다. 뉴빅 교수는 이 실험이 초기 모델을 대상으로 했고 최근 모델은 덜 하다고 덧붙이면서도, 익숙하지 않은 주제에서는 여전히 나타난다고 말했다.

주요 인사이트

• 추론 성능을 올리는 방법은 토큰을 더 쓰는 방향(생각의 사슬)과 답을 여러 번 뽑는 방향(자기 일관성) 두 축으로 나뉘며, 둘 다 결국 계산을 더 쓰는 대가를 치른다.
• 자기 일관성은 정수 정답처럼 결과를 셀 수 있는 문제에서만 쓸 수 있고, 에세이처럼 정답이 하나로 모이지 않는 생성에는 그대로 적용되지 않는다.
• 표본을 늘리다가 결과가 뒤집힐 확률이 충분히 낮아지면 멈추는 적응형 자기 일관성은, 사전 확률을 두고 관측을 반영하는 통계 기법으로 추론 비용을 줄인다.
• '창발'로 보이는 능력 중 일부는 사전학습 막바지에 교과서형 고품질 데이터를 대량 투입하는 최근 관행 때문일 수 있어, 모델 간 비교 시 주의가 필요하다.
• 수학·논리 밖으로 일반화되는 추론 전략을 찾는 일이 남은 과제로 지목됐고, 이는 상식 판단이나 다단계 작업에 모델을 쓰려는 쪽에 직접적인 함의를 갖는다.

자주 묻는 질문

관련 AI 소식