캑터스 니들: 2600만 파라미터 함수 호출 특화 소형 AI 모델 정리

핵심 메시지

• 캑터스 '니들'은 파라미터가 26억도 10억도 아닌 2,600만 개뿐인 오픈소스 함수 호출 특화 모델이다.
• 표준 트랜스포머의 지식 저장소 역할을 하는 FFN(피드포워드) 층을 모두 없애고 어텐션과 게이팅만 남긴 구조를 택했다.
• 단일 함수 호출(single-shot)에서는 10~20배 큰 모델들을 앞서지만, 병렬 호출이나 복잡한 추론이 필요한 작업에는 적합하지 않다.
• CPU만으로도 파인튜닝이 가능할 만큼 작아, 라즈베리파이·스마트폰·가전 같은 엣지 기기에 내장하기 좋다.

쉽게 이해하기

샘 위트빈은 이번 영상에서 YC 스타트업 캑터스(Cactus)가 공개한 오픈소스 함수 호출 모델 '니들(Needle)'을 소개한다. 흔히 보는 도구(tool) JSON 정의를 주고 "오후 12시 30분에 타이머 맞춰줘", "팟캐스트 건으로 매트에게 메일 보내줘" 같은 요청을 하면 정확한 함수 호출을 JSON으로 돌려준다. 여기까지는 프런티어 모델이나 여러 오픈소스 모델도 하는 일이지만, 니들의 파라미터는 2,600만 개에 불과하다.

캑터스는 이 모델을 제미나이 3.1 플래시라이트에서 증류(distill)해 만들었다고 밝혔다. 발표자는 만약 중국 팀이 같은 방식을 썼다면 증류 논란이 컸을 텐데 YC 스타트업이 했으니 조용히 넘어간다고 농담을 던진다. 모델과 코드는 허깅페이스와 깃허브에 공개돼 있고, GPU 없이 CPU만으로도 파인튜닝할 수 있을 만큼 가볍다.

핵심은 구조다. 캑터스는 이를 '단순 어텐션 네트워크'라 부르는데, MLP나 밀집(dense) 층 없이 어텐션과 게이팅만으로 이뤄져 있다. 보통 트랜스포머 블록은 512차원을 2,048차원으로 넓혔다가 다시 줄이는 FFN을 두는데, 기계적 해석 가능성 연구에서 바로 이 부분이 사실(지식)을 저장한다고 알려져 있다. 캑터스는 이 지식 저장소를 통째로 제거해 모델을 극단적으로 작게 만들었다.

학습은 200억 토큰이 아니라 2,000억 토큰으로 사전학습했고, TPU 16개로 27시간이 걸렸다. 이후 15개 도구 범주로 구성된 합성 함수 호출 데이터 20억 토큰으로 후속 학습했다. 그 결과 10배 이상 큰 펑션 젬마, IBM 그래니트, LFM, 20배 큰 Qwen 600M 등을 단일 함수 호출 벤치마크에서 앞섰다.

발표자는 이 모델의 위치를 분명히 한다. 거대 언어 모델을 대체하려는 것이 아니라, 추론이 거의 필요 없는 단순한 도구 호출을 엣지에서 처리하는 특화 모델이라는 것이다. 스마트홈 조명·온도 조절, 가전 제어 같은 작업에 어울리며, 자체 하드웨어에서 돌리면 추론 비용이 거의 0에 수렴한다.

주요 인사이트

• 발표자는 도구 호출의 본질을 "검색과 조립"으로 본다. 질의를 도구 이름에 맞추고 인자를 뽑아 JSON으로 응답하는 일이라, 강한 추론이 필요 없다는 관점이 소형 특화 모델을 정당화한다.
• 지식을 저장하는 FFN을 없앤 대신 어텐션 구조는 유지했다는 점이 흥미롭다. '모든 것을 아는 큰 모델'이 아니라 '한 가지를 잘하는 작은 모델'이라는 방향의 구체적 사례다.
• 한계도 분명하다. 단일 호출에는 강하지만 병렬 함수 호출이나 점진적 공개(progressive disclosure)가 필요한 스킬형 작업에는 잘 맞지 않는다.
• 큰 모델을 하나의 '도구'로 두고 소형 모델이 필요할 때만 상위 모델로 넘기는 캐스케이드(cascade) 구조를 상상할 수 있다. 여러 특화 소형 모델을 계단식으로 엮는 설계다.
• 캑터스는 온디바이스 처리에 클라우드 백업·이중화를 결합하는 회사로, 자사 컴퓨트 엔진을 '모바일 기기를 위한 라마'로 소개한다.

자주 묻는 질문

관련 AI 소식