커서 컴포저 개발기: 강화학습과 전문가 혼합(MoE)으로 만든 코딩 전용 AI 에이전트 모델

핵심 메시지

• 커서는 자동완성 모델 '커서 탭'이 주던 즉각적인 사용 경험을 에이전트 모델에도 그대로 옮기고 싶어 했고, 그래서 속도를 성능만큼이나 중요한 설계 목표로 삼았다.
• 컴포저는 에세이 작성이나 일상 상담까지 잘하는 범용 모델이 아니라 코딩 에이전트라는 한 가지 일에 특화된 모델로, 강화학습이 이 특화를 가능하게 한 핵심 도구였다.
• 강화학습 훈련을 위해 커서 편집기 전체를 가상머신에 담아 수십만 대 규모로 띄웠고, 이는 일반적인 사전학습에서는 없던 인프라 과제였다.
• 전문가 혼합(MoE)은 트랜스포머가 지배해 온 8년 동안 사실상 유일한 핵심 구조 변화였으며, 연산량 절감뿐 아니라 GPU 분산에도 유리하다.
• 느린 모델이 계획을 세우고 빠른 모델이 실행하는 조합처럼, 여러 모델을 용도별로 나눠 쓰는 사용 방식이 자리를 잡아가고 있다.

쉽게 이해하기

커서에서 컴포저를 만든 사샤 러시는 이 모델의 출발점이 기존 자동완성 모델인 '커서 탭'이었다고 말했다. 커서 탭은 무엇보다 반응이 빨라 개발자들이 흐름을 끊지 않고 작업할 수 있게 해줬고, 그 감각을 에이전트 모델에서도 재현하고 싶었다는 것이다. 다만 이미 나와 있던 빠른 모델들은 코드를 맡길 만한 품질이 아니라고 판단했기 때문에, 믿고 코드를 맡길 만큼 똑똑하면서도 즉각적으로 답을 돌려주는 모델을 직접 만들기로 했다.

설계의 두 축은 강화학습과 전문가 혼합 구조였다. 그는 최근의 모델들이 글쓰기부터 조언까지 두루 잘하는 범용 능력에 집중해 왔지만, 코딩 에이전트라는 한 가지 용도만 놓고 보면 훨씬 잘하는 모델을 만들 수 있다고 봤다. 웹 전체를 학습하는 대신 특정 영역에 집중해 훈련할 수 있게 해주는 도구가 바로 강화학습이라는 설명이다.

에이전트 모델의 힘은 결국 끈질기게 도구를 호출하며 답을 찾아내는 능력에서 나온다. 그는 요즘 모델이 질문 하나에 도구를 150번씩 아무렇지 않게 호출한다고 전했다. 큰 코드베이스에서는 검색을 돌리고 터미널 명령을 실행하며, 사람이라면 지쳐 포기했을 탐색을 계속 이어간다는 것이다.

이런 훈련을 돌리려면 인프라부터 달라져야 했다. 강화학습 과정에서 모델은 실제 사용자 환경과 최대한 비슷한 조건에서 움직여야 했기 때문에, 커서 전체를 가상머신 안에 담고 그것을 수십만 대 규모로 띄우는 방식을 택했다. 상태를 유지하면서도 안정적으로 돌아가게 만드는 일이 강화학습 특유의 과제였다고 그는 말했다. 실제 시스템에는 수천 대의 GPU와 그보다 훨씬 많은 CPU가 동원됐다.

분산 처리에는 레이(Ray)가 여러 곳에서 쓰였다. 코드 롤아웃은 각각 끝나는 시간이 제각각인데, 이런 작업을 통제하는 강화학습 컨트롤러 역할이 대표적이다. 또 롤아웃 결과를 대규모로 모아 어떤 시도가 잘 됐고 어떤 시도가 실패했는지 언어모델을 호출해 분석하는 작업에도 활용했다.

주요 인사이트

• 속도는 단순히 토큰을 빨리 뽑아내는 문제가 아니라, 도구를 병렬로 호출하고 맥락을 적절히 쓰는 등 실제 사용에 걸리는 전체 시간의 문제라는 관점이 설계에 반영됐다.
• 전문가 혼합 구조는 모든 파라미터를 매번 거치지 않고 일부만 골라 쓰기 때문에 연산 비용이 줄고, 전문가들을 여러 GPU에 나눠 배치할 수 있어 학습 효율에도 도움이 된다.
• AI 네이티브 제품에서는 모델을 만드는 사람과 제품을 만드는 사람, 쓰는 사람이 사실상 한 팀으로 움직이며 모델의 행동 방식 자체가 제품 결정이 된다.
• 느린 모델에게 계획 모드로 큰 변경의 전략을 세우게 한 뒤 빠른 모델에게 실행을 맡기는 방식이 현장에서 잘 통하는 사용법으로 언급됐다.
• 강화학습 API와 오픈소스 강화학습 프레임워크가 늘면서 특정 용도에 특화된 모델을 만드는 진입 장벽이 낮아지고 있다는 전망이 나왔다.

자주 묻는 질문

관련 AI 소식