MCP 코드 모드 논쟁: LLM에 도구를 API 코드로 주면 나을까, Yannic 반론

핵심 메시지

• Cloudflare의 '코드 모드'는 MCP 도구를 TypeScript API로 바꿔 LLM이 도구를 직접 호출하는 대신 그 API를 부르는 코드를 작성하게 한다. 이렇게 하니 에이전트가 더 많고 복잡한 도구를 다룰 수 있었다.
• 이유에 대한 가설은 학습 데이터 분포다. LLM의 사전학습에는 실제 TypeScript 코드가 방대하지만, 지금의 도구 호출은 사후 미세조정으로 덧붙인 소수의 인위적 예시에 기댄다. 각인된 지식과 위에 얹은 지식의 차이가 크다.
• Yannic Kilcher는 도구를 API로 표현하는 첫 번째 주장에는 동의한다. 셰익스피어에게 한 달 만다린 수업을 시키고 희곡을 쓰게 하는 비유처럼, 사전학습에 없는 방식은 서툴 수밖에 없다는 것이다.
• 그러나 여러 호출을 미리 코드로 엮어 LLM을 거치지 않고 최종 결과만 읽자는 두 번째 주장에는 반대한다. 현실의 도구 출력은 지저분하고 비결정적이라, 다음 행동이 중간 출력에 대한 '추론'에 달린 경우가 많기 때문이다.
• 대안으로 '추측적 도구 호출'을 제안한다. 도구를 미리 실행하되 중간 출력을 모두 기록해 LLM에 보여주고 '이상한 곳 없냐'고 되묻는 방식으로, 추측적 디코딩처럼 속도를 벌자는 발상이다.

쉽게 이해하기

이 영상은 Theo(T3)의 'MCP는 잘못된 추상화'라는 영상과 그것이 다룬 Cloudflare의 '코드 모드' 글에 대한 응답이다. 핵심 아이디어는 MCP 도구를 TypeScript API로 변환하고, LLM이 그 API를 호출하는 코드를 쓰게 하는 것이다. Cloudflare는 도구를 API로 제시하니 에이전트가 훨씬 더 많고 복잡한 도구를 다룰 수 있었다고 보고했다.

왜 더 잘 되는지에 대해 Cloudflare 자신도 정확한 이유는 모른다고 밝히면서, LLM 학습 데이터에 실제 TypeScript가 엄청나게 많기 때문일 것이라고 추정한다. 반면 지금의 대화형 도구 호출은 사전학습 위에 인간 피드백·강화학습으로 붙인 인위적 예시에서 비롯한다. 사전학습에 각인된 지식과 그 위에 덧붙인 지식은 성격이 크게 다르다.

Yannic도 동의하는 부분이 있다. 도구를 API 형태로 표현하는 편이 낫다는 데는 찬성하며, 이미 여러 제공자가 내부적으로는 그렇게 하고 있다고 지적한다. 문제는 글의 두 번째 주장, 즉 여러 호출을 미리 한 덩어리 코드로 엮어 중간에 LLM을 거치지 않고 최종 결과만 읽자는 대목이다.

그는 날씨 예시로 반박한다. 위치를 알아내고 그 결과를 날씨 도구에 넘겨 무엇을 입을지 추론하는 과제에서, 위치 서비스가 항상 깔끔한 GPS 좌표를 주는 것은 아니다. 주소를 주거나 사용자에게 되묻는 등 현실의 출력은 지저분하고 비결정적이다. 복잡한 과제의 상세 계획이 처음 그대로 성공하는 일은 드물고, 사람도 첫 도구의 출력을 보고 다음 행동을 다시 결정한다.

대안으로 그는 '추측적 도구 호출'을 제안한다. 도구들을 미리 실행하되 모든 중간 출력을 기록해 두었다가, 마지막에 LLM에 전부 보여주며 '이상하게 보이는 곳이 있느냐'고 검수하게 하는 방식이다. 추측적 디코딩처럼 대체로 맞을 것을 미리 실행해 속도를 버는 트레이드오프다. 끝으로 그는 MCP가 마법이 아니라 API를 노출하는 표준일 뿐 새 능력을 더하지 않는다는 점을 강조한다.

주요 인사이트

• 도구 호출을 코드로 바꾸는 이점의 뿌리는 '사전학습 데이터 분포'다. LLM이 방대한 실제 코드를 이미 학습했기에, 인위적 도구-호출 포맷보다 익숙한 코드 작성이 더 잘 먹힌다.
• 미리 세운 상세 계획이 그대로 성공하는 일은 드물다. 중간 출력이 비결정적일 때 계획을 코드로 고정하는 것은 '내 계획은 항상 100% 맞는다'는 가정과 같다.
• '추측적 도구 호출'은 추측적 디코딩의 발상을 도구 실행에 옮긴 것이다. 도구 호출이 그리 비싸지 않다면, 미리 실행하고 중간 결과를 한꺼번에 검증해 속도를 버는 트레이드오프가 성립할 수 있다.
• MCP는 능력을 더하는 기술이 아니라 API를 표준 방식으로 노출하는 규약일 뿐이다. 과열된 기대와 실제 기여를 구분하는 시각이 필요하다.

자주 묻는 질문

관련 AI 소식