싱킹캡(ThinkingCap) 리뷰 - 추론 토큰 46% 줄인 로컬 코딩 모델의 실체

핵심 메시지

• o1 계열 추론 모델 이후 AI 성능 향상의 상당 부분은 '긴 사고 사슬(chain of thought)'에서 나왔지만, 이제는 그 사슬을 얼마나 짧고 정확하게 만드느냐가 경쟁의 초점이 됐다.
• 보틀캡AI가 공개한 싱킹캡은 로컬 코딩용으로 널리 쓰이는 Qwen3.6 27B를 파인튜닝해, 벤치마크 점수는 거의 그대로 두고 추론 토큰만 평균 46% 줄였다고 밝혔다.
• 토큰을 적게 쓰면 지연 시간과 추론 비용이 함께 내려가고, 같은 단계를 반복하는 '추론 루프'에 빠지는 빈도도 줄어든다.
• 직접 돌려본 결과 알고리즘·수학·논리 과제에서는 사고 토큰이 눈에 띄게 줄었지만, 긴 글쓰기나 도구 호출이 섞인 작업에서는 오히려 더 쓰는 경우도 있었다.
• 학습에 쓴 데이터셋은 공개되지 않았고, 강화학습인지 지도 파인튜닝인지도 명시돼 있지 않다.

쉽게 이해하기

최근 AI 모델의 성능 곡선이 꺾여 올라간 결정적 계기는 모델을 무작정 키운 것이 아니라, 모델이 답을 내기 전에 스스로 길게 생각하도록 만든 것이었다. 이 긴 사고 과정은 사실 하나의 덩어리가 아니라 '사용자 요청 이해 → 핵심 알고리즘 식별 → 단계 분해 → 초안 작성' 같은 작은 조각들의 연쇄로 이뤄져 있다.

문제는 이 조각들이 늘어날수록 비용과 시간도 함께 늘어난다는 점이다. 실제로 어떤 모델은 이전 세대보다 똑똑해졌지만 그만큼 훨씬 많은 사고 토큰을 소모해, 지능은 올랐는데 효율은 떨어지는 결과를 보이기도 했다. 그래서 최근 주요 모델의 업데이트 방향은 '사고를 더 길게'가 아니라 '같은 답을 더 적은 단계로'에 가까워졌다.

보틀캡AI의 싱킹캡은 이 흐름을 오픈 웨이트 진영에서 재현하려는 시도다. 대상은 로컬 GPU에 올려 쓰기 좋은 크기라 코딩 용도로 인기가 높았던 Qwen3.6 27B 밀집(dense) 모델이다. 목표는 모델을 더 똑똑하게 만드는 것이 아니라, 같은 지능에 도달하기까지 필요한 사고 토큰을 줄이는 것이다.

제작사는 12개 벤치마크에서 원본과 거의 같은 정확도를 유지하면서 사고 토큰은 절반 가까이 줄였다고 밝혔다. 다만 학습에 사용한 데이터셋은 공개하지 않았고, 학습 목표를 '정답 보상'이 아니라 '효율적인 추론'으로 잡았다고만 설명한다.

실제로 두 모델을 나란히 돌려보면, 같은 알고리즘 문제에서 원본이 약 3,000토큰을 생각할 때 싱킹캡은 2,200토큰 수준에서 답을 냈다. 흥미로운 점은 사고의 첫 단계 구성 자체는 거의 똑같고, 답에 별 도움이 안 되는 단계들이 솎아진 형태라는 것이다.

주요 인사이트

• '지능을 올리는 방법'은 모델 크기, 사고 길이, 사고 품질 세 가지뿐이며 각각 대가가 따른다. 싱킹캡은 세 번째 지렛대만 골라 당긴 사례다.
• 폐쇄형 상용 모델은 원본 사고 과정을 보여주지 않기 때문에 사고 품질이 실제로 좋아졌는지 외부에서 검증하기 어렵다. 오픈 웨이트 모델은 이 비교가 가능하다는 점 자체가 연구 자산이다.
• 효율 개선은 과제 유형을 탄다. 코딩·수학·논리에서는 이득이 뚜렷했지만 긴 에세이나 다중 도구 호출에서는 결과가 들쭉날쭉해, 같은 프롬프트를 여러 번 돌려봐야 판단할 수 있다.
• 데이터셋이 공개되지 않은 점은 아쉬운 대목이다. 데이터셋이 있었다면 같은 기법을 다른 오픈 모델에 그대로 적용해볼 수 있었을 것이다.
• 이런 효율화는 결국 다음 세대 오픈 모델의 사후 학습(post-training)에 기본으로 녹아들 가능성이 크다. 별도 파인튜닝이 필요 없어지는 방향이다.

자주 묻는 질문

관련 AI 소식