COCONUT 논문 해설: 연속 잠재공간에서 추론하는 LLM 사고의 사슬

핵심 메시지

• COCONUT은 사고의 사슬(CoT)을 자연어 토큰이 아닌 연속 벡터(연속 사고의 사슬)로 수행하게 하는 방법이다.
• 언어 토큰은 하나의 의미로 확정해야 하지만, 벡터는 여러 다음 추론 단계를 겹쳐 담을 수 있어 너비 우선 탐색 같은 탐색이 가능하다.
• 연속 사고 단계에는 정답이 없어 손실을 걸지 않고, 최종 답의 정확성만으로 추론 과정을 간접 최적화한다.
• 언어로 매 단계를 풀어쓰지 않아 계산량과 시간이 줄지만, 벡터 사고의 해석 가능성이 약해질 수 있다는 우려가 남는다.

쉽게 이해하기

COCONUT("Training Large Language Models to Reason in a Continuous Latent Space")은 사고의 사슬(Chain-of-Thought, CoT)을 다시 생각한 논문이다. 기존 CoT는 문제를 자연어 단계로 쪼개 풀지만, COCONUT은 그 단계를 언어 대신 벡터로 표현해 언어 토큰의 표현력 한계에서 벗어나게 한다.

동기는 이렇다. 일반 CoT의 토큰 중 상당수는 유창함을 위한 언어적 군더더기여서 실제 추론에 꼭 필요하진 않다. 반대로 어떤 토큰은 계획과 전문성을 요구한다. 텍스트 토큰은 하나의 의미로 확정해야 하지만, 연속 벡터는 여러 대안적 다음 단계를 하나의 벡터에 겹쳐 담아 너비 우선 탐색식 탐색을 가능하게 한다.

작동 방식은 RNN을 떠올리게 한다. 매 추론 단계마다 토큰을 출력하는 대신, LLM의 출력 벡터를 텍스트로 디코딩하지 않고 그대로 다음 입력으로 넣는다. 다만 사전학습된 LLM은 이런 벡터 재입력에 익숙하지 않으므로, 저자들은 GPT-2를 CoT·정답 데이터로 미세조정해 연속 사고 벡터를 주고받도록 학습시켰다.

학습은 단계적이다. 먼저 GSM8k 같은 데이터로 일반 지도학습을 해 CoT와 정답을 생성하게 한 뒤, k단계에 걸쳐 앞쪽 CoT 텍스트 토큰들을 특수 토큰으로 감싼 연속 사고로 점진적으로 바꾼다. 연속 사고 단계에는 비교할 정답이 없어 손실을 적용하지 않고, 최종 답의 정확성만으로 추론을 간접적으로 최적화한다. 추론 시에는 "생각 시작" 특수 토큰 이후 연속 모드로 벡터를 재사용하다가 "생각 끝" 토큰에서 다시 텍스트 모드로 돌아와 답을 낸다.

실험 결과는 흥미롭다. 초등 수준 수학 GSM8k에서는 정확도가 일반 CoT에 약간 못 미쳤지만 사고 단계 수는 훨씬 적었다. ProntoQA에서는 일반 CoT가 92.5토큰으로 98.8%인 데 비해 COCONUT은 평균 9개 벡터로 99.8%를 기록했고, 더 복잡한 ProsQA에서는 일반 CoT 77.5%(49.4토큰) 대비 COCONUT이 97%(14.2벡터)로 앞섰다. 언어로 풀어쓰지 않아 각 토큰당 순전파와 거대한 언임베딩 계산을 아끼는 것이 속도의 비결이다.

주요 인사이트

• 벡터는 "단어들의 중첩"을 담을 수 있어, 한 번에 여러 추론 경로를 탐색하는 데 유리하다. 언어의 순차성에 갇히지 않는 것이 핵심 이점이다.
• 연속 사고에는 정답 라벨이 없기에 손실을 최종 답의 정확성에 의존시키는데, 이는 "좋은 추론은 좋은 답으로 이어진다"는 가정에 기댄 간접 최적화다.
• 해석 가능성은 양날의 검이다. 언임베딩 층으로 벡터를 다시 언어로 매핑하면 "180"과 "9"처럼 여러 단어의 분포가 보이지만, 이 중첩이 추론 경로 추적을 어렵게 만들 수 있다.
• 학습이 텍스트 CoT에서 시작해 점차 연속 모드로 넘어가므로 초기 벡터는 사람이 읽기 쉬운 언어에 가깝다. 다만 연속 모드를 더 강하게 밀어붙이면 모델 고유의 "벡터 언어"가 사람 언어에서 멀어질 수 있다.

자주 묻는 질문

관련 AI 소식