LLM 추론의 원리: 사고사슬·자기일관성·강화 파인튜닝 (스탠퍼드 CS25)

핵심 메시지

• 데니 저우는 추론을 '입력과 출력 사이의 중간 토큰(중간 단계)'으로 좁게 정의하고, 이 정의 없이는 'LLM이 추론하는가'라는 논쟁이 무의미하다고 본다.
• 사전학습된 모델은 이미 추론할 준비가 되어 있으며, 필요한 것은 화려한 기법이 아니라 디코딩 방식을 바꾸는 것이라는 게 강연의 핵심 주장이다.
• 탐욕적 디코딩 대신 여러 후보를 살펴보면(사고사슬 디코딩) 추론 경로가 이미 출력 공간에 존재하고, 그 경로의 최종 답 토큰은 신뢰도(확률)가 훨씬 높다.
• 사람이 만든 풀이로 지도 파인튜닝(SFT)하면 일반화가 잘 안 되지만, 모델이 스스로 만든 풀이를 검증기로 걸러 학습하는 강화 파인튜닝은 훨씬 잘 일반화된다.
• 자기일관성(여러 번 샘플링해 가장 자주 나오는 답 선택)과 검색(retrieval) 결합은 단일 추론보다 정확도를 크게 끌어올린다.

쉽게 이해하기

데니 저우는 '추론이 무엇인가'라는 소모적 논쟁 대신, 추론을 입력과 출력 사이에 생성되는 중간 토큰(중간 단계)이라고 명확히 정의하며 강연을 연다. 예컨대 'artificial intelligence'의 각 단어 마지막 글자를 이어 붙이는 과제에서, 중간 과정 없이 답만 내면 틀리지만 'artificial의 마지막 글자는 l, intelligence의 마지막 글자는 e'처럼 단계를 적으면 맞힌다. 이 강조된 중간 텍스트가 바로 그가 말하는 추론이다.

그는 이론적 결과도 소개한다. 불리언 회로로 풀 수 있는 문제라면, 상수 크기의 트랜스포머라도 충분히 긴 중간 토큰을 생성하면 그 문제를 풀 수 있다는 것이다. 최종 답을 곧바로 내려 하면 엄청난 깊이가 필요하거나 아예 못 풀지만, 중간 토큰을 늘리면 작은 모델로도 거의 모든 계산 가능한 문제에 접근할 수 있다는 관점이다.

강연의 반전은 '사전학습 모델은 프롬프트 기법 없이는 추론하지 못한다'는 통념을 뒤집는 데 있다. 탐욕적 디코딩은 첫 토큰의 최고 확률만 따라가 틀린 답을 내지만, 두 번째·세 번째 후보로 디코딩을 이어 가면 자연스러운 사고사슬 풀이가 이미 출력 공간에 들어 있음을 보인다. 게다가 사고사슬이 있는 경로에서는 최종 답 토큰의 확신도가 크게 뛴다. 이를 이용한 것이 사고사슬 디코딩이다.

프롬프트로 이 분포를 재정렬하는 것이 few-shot 사고사슬 프롬프팅과 'Let's think step by step' 같은 방식이다. 다만 전자는 과제별 예시가 필요하고 후자는 범용이지만 성능이 떨어진다. 그래서 사람이 단계별 풀이를 모아 지도 파인튜닝(SFT)하지만, 사람이 만든 데이터의 오류 때문에 일반화가 잘 안 된다. 대안은 모델이 스스로 단계별 풀이를 생성하고 최종 답의 정답 여부로 걸러 학습하는 방식(STaR류의 자기개선/강화 파인튜닝)이다. 핵심은 알고리즘 자체보다 믿을 만한 검증기라는 점을 그는 강조한다.

마지막으로 그는 성능을 더 끌어올리는 두 축으로 집계와 검색을 든다. 자기일관성은 여러 번 샘플링해 가장 자주 나온 최종 답을 고르는 것으로, 사실상 추론 경로를 잠재 변수로 두고 답 확률을 주변화(marginalize)하는 절차다. 검색은 유사 문제를 떠올려(analogical reasoning) 원리를 가져오는 방식으로, 오늘날의 '딥 리서치'와 같은 아이디어다. 그는 리처드 서턴의 '쓴 교훈'을 인용하되, 확장 가능한 것은 학습이며 검색은 도구로서만 필요하다는 견해를 밝힌다.

주요 인사이트

• 추론을 '중간 토큰'으로 조작적으로 정의하면, 모호한 철학 논쟁 대신 디코딩·학습이라는 구체적 공학 문제로 환원된다.
• 탐욕적 디코딩은 '최고 확률 토큰'을 따르지만 우리가 원하는 것은 '최고 확률의 최종 답'이며, 이 둘은 다르다는 조건부확률 관점이 사고사슬 디코딩과 자기일관성의 근거다.
• 지도 파인튜닝의 병목은 사람이 만든 데이터의 오류이며, 모델 생성 데이터를 검증기로 거르는 편이 오히려 성능이 좋다는 점이 강화 파인튜닝의 요체다.
• 충분히 긴 사고사슬이 있으면 모델 크기를 키우지 않아도 되고, 확장해야 할 것은 사고사슬의 길이라는 통찰은 추론형 모델 설계의 방향을 바꾼다.
• 자기일관성은 일관성이 높을수록 정확도가 높은 자기보정 성질을 가져, 별도 수식 없이 불확실성 추정에도 쓸 수 있다.

자주 묻는 질문

관련 AI 소식