장기 추론 벤치마크 LongCoT와 커리큘럼 강화학습, AI가 긴 작업에 약한 이유

핵심 메시지

• 현실의 일은 대부분 짧은 작업이 사슬처럼 이어진 장기 과제인데, 기존 AI 벤치마크는 짧은 추론이나 사실 암기만 측정해 왔다.
• 연구진은 앞 문제의 답을 뒤 문제의 조건으로 넣는 방식으로 짧은 문제를 합성해, 값비싼 장기 데이터를 새로 모으지 않고도 장기 훈련 데이터를 만들었다.
• 단계 수를 1단계부터 조금씩 늘리는 커리큘럼 강화학습이 처음부터 긴 문제로 훈련하는 방식보다 훨씬 효율적이었다.
• 초등 수준 수학 문제를 이어 붙여 훈련한 모델이 올림피아드 수준 수학은 물론 논리·그래프·알고리즘 문제로도 능력이 옮겨 갔다.
• 새 벤치마크 LongCoT에서 최고 성능 모델도 정답률이 10%에 못 미쳤고, 문제 30개가 이어지면 모든 모델이 사실상 0%로 떨어졌다.

쉽게 이해하기

AI 모델에게 한 문제를 풀게 하는 일은 이제 어렵지 않다. 문제는 연구, 기획, 업무 자동화처럼 수십에서 수백 단계가 이어지는 일이다. 옥스퍼드 대학 박사과정 연구자 두 명은 AI 연구 커뮤니티 alphaXiv가 연 온라인 강연에서, 이 '장기 추론' 능력을 어떻게 훈련하고 어떻게 측정할지에 대한 두 편의 연구를 소개했다.

훈련 쪽 연구인 H1은 발상이 단순하다. 한 달짜리 업무를 녹화해 데이터로 만드는 일은 사실상 불가능하니, 이미 있는 짧은 문제들을 이어 붙여 긴 문제를 만든다는 것이다. 첫 문제의 답을 두 번째 문제의 조건 값으로 집어넣으면, 마지막 답을 얻기 위해 사슬 전체를 정확히 풀어야 하는 하나의 긴 문제가 된다. 화학처럼 중간 결과가 다음 반응을 바꾸는 분야에서도 같은 방식으로 합성이 가능하다.

여기서 핵심은 훈련 순서였다. 연구진은 성공 확률이 단계별 정확도의 거듭제곱만으로 결정되지 않는다고 본다. 앞에서 나온 값을 기억해 두었다가 뒤에서 다시 꺼내 쓰는 '길이에 의존하는 능력'이 따로 있고, 이 능력은 긴 데이터를 봐야만 배울 수 있다는 것이다. 처음부터 20단계짜리 문제로 훈련하면 성공하는 시도가 거의 없어 학습 신호가 사라지고, 이를 보완하려면 배치 크기를 지수적으로 키워야 한다. 반면 1단계부터 성공률을 확인하며 단계 수를 늘려 가면 필요한 표본 수가 훨씬 완만하게 늘어난다.

효과는 훈련 범위를 넘어섰다. 초등 수준 수학 문제를 이어 붙여 훈련했을 뿐인데 올림피아드 수준 문제, 명제 논리, 그래프와 알고리즘 문제, 긴 문맥 처리 과제까지 성적이 올랐다. 강화학습이 기존 모델의 능력을 효율적으로 끄집어낼 뿐 새 능력을 만들지 못한다는 그동안의 비판도, 커리큘럼을 적용하면 여러 번 뽑아 보는 평가에서 원본 모델을 넘어선다는 결과로 반박했다.

측정 쪽 연구인 LongCoT는 화학·수학·컴퓨터과학·체스·논리 다섯 분야에서 2,500개 문제를 모은 벤치마크다. 문제마다 정답이 하나로 검증되지만, 그 답에 이르려면 중간 단계를 모두 맞혀야 해 요행이 통하지 않는다. 공개 시점에서 가장 잘한 모델의 정답률이 10%에 못 미쳤고(GPT 5.2 9.8%, Gemini 3 Pro 6.1%), 문제를 30개 정도 이어 붙이면 모든 모델이 0%에 수렴했다. 같은 문제를 이어 붙이지 않고 따로 내면 성적이 크게 올라, 난이도의 원인이 '합성' 자체임도 확인됐다.

주요 인사이트

• 장기 작업의 실패는 단계별 실력 부족이 아니라 상태 관리·되돌아가기·계획 같은 '길이 의존 능력'의 부재에서 온다. 한 단계 정확도를 아무리 높여도 이 능력이 없으면 긴 작업은 무너진다.
• 강화학습에서 어려운 문제를 곧바로 주면 성공 사례가 없어 배울 것이 없다. 성공률이 어느 정도 나오는 길이에서 시작해 조금씩 올리는 것이 학술 규모의 적은 컴퓨팅으로도 성과를 내는 실질적 방법이다.
• 벤치마크에서 코드 실행을 허용하면 모델이 스도쿠 풀이 프로그램을 짜는 식으로 문제를 우회해, 측정하려던 추론 능력이 아니라 도구 사용 능력을 재게 된다. 평가 설계에서 '무엇을 금지하느냐'가 곧 무엇을 측정하느냐다.
• 긴 작업을 잘게 나눠 처리하는 재귀적 방식은 효과가 컸다. 같은 모델이 단독 호출로 38.7%였던 점수가 재귀 구조에서 50.6%, 좋은 분해 힌트를 주자 65.6%까지 올랐다.
• 정답을 검증할 수 있는 분야 밖에서는 여전히 훈련 신호가 마땅치 않다. 글쓰기처럼 '만들기는 어렵지만 평가는 쉬운' 격차를 학습 신호로 바꾸는 것이 다음 과제로 남았다.

자주 묻는 질문

관련 AI 소식