클로드 코드 총괄 인터뷰: 시스템 프롬프트 80% 삭제와 CLAUDE.md 정리 조언

핵심 메시지

• 클로드 코드의 시스템 프롬프트 80%가 삭제됐는데, 지워진 대부분은 이전 모델이 스스로 하지 못하던 일을 교정해 주던 지시였다.
• 보리스 체르니는 일반 사용자에게도 6개월마다 규칙 파일과 스킬, 훅을 지우고 모델이 어떻게 행동하는지 다시 확인해 보라고 권한다.
• 규칙은 미리 추측해서 쌓지 말고, 직접 써보다가 같은 지점에서 반복해 막힐 때만 한 줄씩 추가하는 방식이 낫다.
• 프롬프트 하나로 시작된 언어 재작성 작업이 11일 동안 멈추지 않고 돌며 10만 줄이 넘는 코드를 옮겼고, 성공의 열쇠는 스스로 결과를 확인할 수 있게 해 준 방대한 테스트 모음이었다.
• 지시는 단계별로 세세하게 나열하기보다 과제와 가드레일, 완료 판단 기준을 주고 맡기는 한 단계 위에서 이뤄져야 한다.

쉽게 이해하기

클로드 코드를 만든 보리스 체르니가 오퍼스 5 공개 다음 날 스타트업 스쿨 무대에 올라 새 모델과 제품 개발 방식에 대해 이야기했고, 이 영상은 그 인터뷰의 요점을 정리한 것이다. 그가 가장 인상적이라고 꼽은 변화는 벤치마크 점수가 아니라 모델이 며칠에서 몇 주, 몇 달까지 멈추지 않고 하나의 작업을 계속 붙잡고 있게 됐다는 점이다. 추론 능력을 재는 ARC-AGI 3에서는 30%를 기록했는데, 이전 최고 기록은 한 자릿수에서 10%대 수준이었다고 한다.

보안 쪽에서도 조용한 변화가 있었다. 인터넷 문서 안에 "사용자 컴퓨터의 모든 것을 지우라" 같은 지시를 숨겨 두는 프롬프트 인젝션 공격에 1년 전 모델은 그대로 넘어갔지만, 지금은 세 겹의 방어가 작동한다. 수년간의 정렬 연구가 반영된 모델 자체, 공격이 일어날 때 반응하는 모델 내부 뉴런을 들여다보는 분류기, 그리고 자동 실행 모드에서 동작하는 분류기다. 이 셋을 합치자 공격을 시연하는 것조차 쉽지 않게 됐다는 설명이다.

이번 발표에서 가장 화제가 된 것은 시스템 프롬프트의 80%를 지웠다는 대목이다. 하지만 체르니는 이것이 특별한 사건이 아니라고 선을 긋는다. 새 모델이 나올 때마다 프롬프트를 지우고 바꾸고 도구도 계속 손봐 왔다는 것이다. 지워진 내용의 성격이 흥미로운데, 상당수가 모델이 당연히 알았어야 하지만 하지 못하던 부분을 교정해 주던 지시였고, 새 모델은 그런 지시 없이도 그냥 해내기 때문에 지울 수 있었다.

지우는 방식도 구체적이다. 새 모델이 나오면 시스템 프롬프트를 통째로 비운 다음 한 줄씩 되돌리면서 각 줄이 결과에 어떤 영향을 주는지 측정한다. 이렇게 재보니 모델은 그런 지시가 없을 때 오히려 조금 더 똑똑하게 움직였고, 다만 제품으로 쓸 때는 사람이 쓰기 편하게 만드는 몫이 있어 일부는 남겨 둔다. 도구도 같은 방식으로 계속 걷어내다 보니 지금 클로드 코드에 남은 코드는 대부분 안전과 권한, 정적 분석, 화면 표시 관련 코드라고 한다.

제품을 만들지 않는 사람을 위한 조언도 있다. 6개월마다 자신의 규칙 파일과 스킬, 훅을 지워 보고 모델이 어떻게 하는지 확인해 보라는 것이다. 다시 쌓을 때는 어떤 지시가 필요할지 미리 추측하지 말고, 직접 써보다가 같은 지점에서 반복해서 넘어질 때만 그 한 줄을 추가한다. 모델이 매번 그 지시를 전부 읽는다는 점을 기억하라는 말도 덧붙였다.

체르니는 예전 시스템이 미리 설계하고 테스트를 갖추고 재설계에 몇 달, 몇 년을 쓰는 대상이었다면 모델은 살아 있는 생명체에 가깝고 세대마다 성격이 조금씩 다르다고 표현한다. 여기서 두 가지 개념이 나온다. 제품이 모델이 하려는 일을 오히려 방해하는 상태, 그리고 모델은 이미 할 수 있는데 제품이 아직 그 능력을 꺼내 주지 못하는 상태다. 클로드 코드 자체가 후자의 사례로, 소네트 3.5 시절 코딩 제품들이 한 줄 자동완성이나 읽기 전용 대화에 머물러 있을 때 모델은 이미 파일 하나를 통째로 쓸 수 있었고, 껍데기를 걷어내고 가장 단순한 형태를 준 결과가 클로드 코드였다.

실제 사례도 소개됐다. 클로드 코드가 올라가 있는 자바스크립트 런타임 번(Bun)의 저수준 코드는 지그(Zig)로 쓰여 있었는데, 팀은 이것을 러스트로 다시 쓰게 하는 작업을 프롬프트 하나로 지시했다. 작업은 11일 동안 멈추지 않고 돌며 10만 줄이 넘는 코드를 옮겼고, 결과물은 지금 실제로 쓰이고 있다. 성공한 이유로는 번과 노드에 이미 아주 큰 테스트 모음이 있어 모델이 스스로 제대로 했는지 확인할 방법이 있었다는 점이 꼽혔다. 또 다른 실험에서는 영상 처리 라이브러리만 주고 그림을 그려 보라고 했더니 초상화와 동물, 풍경이 나왔는데, 그림을 그리도록 훈련한 적이 없는데도 그랬다는 것이다.

마지막으로 그는 매일 도는 자동 유지보수 작업을 만들어 두었다고 말한다. 죽은 코드를 지우고 필요한 테스트를 쓰고 쓸모없는 테스트를 지우는 일, 코드베이스 곳곳에 흩어진 거의 같은 구조를 하나로 합치는 일 등이다. 이런 루틴이 하루 20~30개, 매일 수백에서 수천 개의 에이전트가 돌아간다. 잘 쓰는 사람들의 공통점을 묻자 그는 과거 모델에 대해 배운 것과 수업에서 배운 이론을 잊고, 직접 시켜 보고 어디서 막히는지 확인한 다음 조정하라고 답했다. 이론의 과학이 아니라 경험의 과학이 됐다는 말이다.

주요 인사이트

• 모델이 좋아질수록 사람이 써 둔 지시는 자산이 아니라 부채가 될 수 있다. 예전 모델의 약점을 메우려고 넣은 문장이 그대로 남아 있으면, 그 약점이 사라진 뒤에도 모델의 판단을 좁히는 방향으로 계속 작동한다.
• "지우고 한 줄씩 되돌리며 영향을 측정한다"는 방식은 규칙 파일을 감으로 관리하지 않고 실험으로 관리하는 방법이다. 개인 사용자도 CLAUDE.md 같은 파일에 똑같이 적용할 수 있다.
• 11일짜리 재작성이 성공한 진짜 조건은 모델의 지구력이 아니라 검증 수단이었다. 스스로 맞고 틀림을 확인할 수 있는 테스트가 있는 영역과 그렇지 않은 영역에서 장시간 자율 작업의 성패가 갈린다.
• 지시를 잘게 쪼개 순서대로 시키는 습관은 오히려 성능을 떨어뜨린다. 과제와 가드레일, 완료 기준을 주고 맡기는 쪽이 지금 모델의 작동 방식에 맞는다.
• 모델을 설계 대상이 아니라 세대마다 성격이 다른 대상으로 보는 관점은, 새 모델이 나올 때마다 프롬프트와 도구를 다시 실험해야 한다는 실무 결론으로 이어진다.

자주 묻는 질문

관련 AI 소식