클로드 코드 개발자 인터뷰: 시스템 프롬프트 80% 삭제와 '언호블링' 전략

핵심 메시지

• 새 모델이 나올 때마다 기존 시스템 프롬프트와 도구 설명을 지우고 한 줄씩 되살리며 효과를 검증하는 '어블레이션' 방식으로 하네스를 다시 만든다고 밝혔다.
• 제품이 모델의 능력을 가로막는 상태를 '허블링', 아직 아무도 꺼내 쓰지 않은 모델의 잠재력을 '프로덕트 오버행'이라 부르며, 클로드 코드 자체가 이 오버행을 노린 결과물이라고 설명했다.
• 모델에게 지나치게 상세한 절차를 지시하는 대신 과제·가드레일·완료 조건만 주고 맡기는 편이 최신 모델에서는 더 잘 작동한다고 조언했다.
• 번(bun) 자바스크립트 런타임을 Zig에서 러스트로 다시 쓰는 작업이 하나의 프롬프트로 시작해 11일간 돌아 끝났고, 그 결과물이 실제 제품에 쓰이고 있다고 소개했다.
• 사내에서는 죽은 코드 정리, 테스트 보강, 중복 추상화 통합 같은 유지보수 작업을 매일 도는 루틴 20~30개에 맡기고 있다고 밝혔다.

쉽게 이해하기

Y Combinator 행사에 클로드 코드를 만든 보리스 체르니(Boris Cherny)가 나와, 오퍼스 5(Opus 5) 출시 다음 날 자신이 겪은 일과 AI 개발 도구를 만드는 방식에 대해 이야기했다. 그는 새 모델이 나올 때마다 놀라는 쪽은 만든 사람들이라고 말한다. 훈련 과정에서 가르치려 한 것 중 상당수는 실패하지만, 가르치지 않은 능력이 저절로 생기기도 한다는 것이다.

그가 오퍼스 5에서 가장 새롭다고 꼽은 두 가지는 '아주 오래 멈추지 않고 일한다'는 점과 '프롬프트 인젝션에 잘 넘어가지 않는다'는 점이다. 인터넷에서 읽은 악성 지시를 그대로 따르던 예전 모델과 달리, 정렬 연구와 프롬프트 인젝션 분류기, 자동 모드 분류기를 겹쳐 두자 공격을 재현하기 어려워졌다고 설명했다. 분류기는 모델의 내부 뉴런 활동을 보는 해석가능성 연구에 기반해 만들어졌다고 한다.

가장 인상적인 대목은 시스템 프롬프트의 80%를 삭제했다는 이야기다. 과거 프롬프트의 상당수는 모델이 당연히 알아야 할 것을 못 해서 붙여둔 교정 지시였는데, 새 모델이 그것을 스스로 하게 되면서 필요가 없어졌다는 것이다. 그는 연구에서 쓰는 '어블레이션'처럼 전부 지운 뒤 한 줄씩 되돌리며 각 줄의 효과를 재보라고 권한다. 클로드 코드를 쓰는 사람에게도 반년에 한 번쯤 설정 파일과 스킬, 훅을 지우고 모델이 어떻게 하는지 보라고 조언했다.

그는 모델을 다루는 일이 기존 소프트웨어 공학과 근본적으로 다르다고 본다. 큰 시스템을 미리 설계하고 테스트로 굳히는 방식이 아니라, 세대마다 성격이 달라지는 생물을 상대하듯 써보고 관찰하고 조정하는 경험 과학에 가깝다는 것이다. 평가셋(eval)조차 오래 못 간다. 모델이 빠르게 좋아지면서 기존 평가셋이 포화되면 버리고 새로 만들어야 한다고 했다.

실제 활용 사례로는 번(bun) 런타임을 Zig에서 러스트로 옮긴 작업, 그리고 자신이 슬랙에서 돌리고 있는 데스크톱 앱의 스위프트 재작성 작업을 들었다. 후자는 '일렉트론 앱을 가상머신에서 띄워 스크린샷을 찍고 스위프트 버전과 픽셀 단위로 비교하며 끝날 때까지 멈추지 말라'는 한 문단짜리 지시로 시작해 인터뷰 시점까지 2주 넘게 돌고 있었다. 그는 요령보다 '모델이 스스로 결과를 확인할 방법을 함께 주는 것'이 가장 많이 빠뜨리는 부분이라고 강조했다.

주요 인사이트

• 지시를 늘리는 것이 안전장치라는 통념이 뒤집힌다. 프롬프트는 매 호출마다 읽히는 비용이므로, 모델이 같은 지점에서 반복해서 넘어지는 것을 확인한 뒤에야 한 줄을 추가하라는 것이 그의 기준이다.
• 오래된 개발자일수록 모델에 자신이 하던 방식 그대로를 강요하는 실패에 빠지기 쉽다고 지적했다. 과거 시스템을 만들던 습관, 즉 과도한 명세화와 선설계가 오히려 성능을 깎는다는 것이다.
• 긴 작업을 돌리는 방법으로 '다이내믹 워크플로'를 소개했다. 샌드박스 안에서 에이전트를 순차·병렬로 조합해 오케스트레이션하는 구조로, 테스트 타임 컴퓨트를 크게 늘리는 새로운 방식이라고 설명했다.
• 반복 작업에는 워크플로 대신 로컬에서 도는 '루프'와 클라우드에서 도는 '루틴'을 쓴다고 한다. 맥락은 공유하지 않되 메모리는 공유하는 주기적 작업에 적합하다는 구분이다.
• 그는 '코딩은 풀렸다'는 자신의 발언에 단서를 달았다. 자신이 하는 종류의 코딩에 한정된 이야기이고, 깊은 시스템 코드나 분산 시스템, 픽셀 단위 UI 검증에서는 여전히 어려움을 겪는다고 인정했다.

자주 묻는 질문

관련 AI 소식