클로드 코드 규칙 삭제 논쟁: 어블레이션 실험으로 본 AI 레이어 설정 정리 기준과 한계

핵심 메시지

• 클로드 코드를 만든 보리스 처니는 새 모델이 나올 때마다 전역 규칙·스킬·훅을 전부 지우고 하나씩 되돌리는 '어블레이션'을 권했고, 앤트로픽은 실제로 클로드 코드 시스템 프롬프트의 80%를 덜어냈다.
• 어블레이션은 단순 삭제가 아니라 '무엇이 실제로 성능에 기여하는지'를 되돌려가며 측정하는 일종의 평가 절차다.
• 영상 제작자는 이 방식이 토큰과 시간을 크게 소모하기 때문에 현실의 개발 조직이 모든 항목에 적용하기는 어렵다고 반박한다.
• 직접 실험한 결과, AI 설정을 걷어내도 아키텍처 설계 판단의 품질은 유지됐지만 프로젝트 고유의 코딩 관례 준수는 눈에 띄게 무너졌다.
• 따라서 잘라낼 대상은 대화마다 항상 주입되는 전역 규칙이고, 필요할 때만 읽히는 스킬·서브에이전트는 자주 손댈 필요가 없다는 것이 결론이다.

쉽게 이해하기

AI 코딩 도구를 쓰는 사람이라면 프로젝트마다 전역 규칙 파일과 스킬, 훅 같은 설정을 쌓아두게 된다. 그런데 클로드 코드를 만든 보리스 처니가 한 공개 행사에서 "6개월마다 이 설정을 전부 지우고 모델이 어떻게 하는지 보라"고 말하면서 논란이 됐다. 문장만 떼어놓고 보면 그동안 공들여 만든 설정이 모두 쓸모없어졌다는 선언처럼 들린다.

영상은 발언의 앞뒤 맥락을 먼저 짚는다. 처니는 같은 자리에서 '어블레이션'이라는 표현을 썼는데, 이는 시스템 프롬프트를 통째로 비운 뒤 한 줄씩 되돌리며 각 줄이 결과에 어떤 영향을 주는지 확인하는 연구 기법이다. 즉 무작정 버리는 것이 아니라, 되돌려 넣으면서 무엇이 실제로 필요한지 측정하는 평가에 가깝다. 그는 또 모델에 절차를 1·2·3·4로 지나치게 세세히 지시하는 것이 흔한 실수라며, 작업과 가드레일, 종료 조건만 높은 수준으로 설명하고 나머지는 모델에 맡기라고 권했다.

제작자는 취지에는 동의하면서도 두 가지를 문제 삼는다. 첫째, 전부 지웠다가 하나씩 되돌리는 과정은 토큰을 대단히 많이 먹는다. 앤트로픽 소속으로 사실상 토큰 예산 제약이 없는 사람과, 요금제 한도에 매번 부딪히거나 토큰 단위로 비용을 내는 기업 환경은 사정이 다르다는 것이다. 실제로 처니가 코드베이스 마이그레이션 작업을 2주 넘게 계속 돌리고 있다고 답하는 장면이 근거로 인용된다.

둘째, 설정 전체를 같은 강도로 정리할 필요는 없다는 지적이다. 대화가 시작될 때마다 항상 주입되는 전역 규칙은 과잉 지시의 위험이 가장 크므로 공격적으로 줄여야 하지만, 필요할 때만 읽히는 스킬이나 위임용 서브에이전트는 항상 맥락을 점유하지 않으므로 잘라낼 압력이 훨씬 낮다는 것이다. 실제로 앤트로픽 문서도 지나치게 긴 규칙 파일은 중요한 지시가 묻혀 무시될 수 있다고 경고하며 파일당 200줄 이하를 권한다.

가장 흥미로운 부분은 직접 진행한 비교 실험이다. 제작자는 자신의 오픈소스 프로젝트에서 1천 줄에 달하는 전역 규칙을 20줄 수준으로 줄이고 350줄짜리 스킬도 통째로 없앤 뒤, 같은 이슈들을 원래 설정과 나란히 처리하게 했다. 결과는 절반은 예상 밖, 절반은 예상대로였다.

주요 인사이트

• 설정을 걷어낸 상태에서도 새 기능을 어떻게 설계할지 같은 어려운 아키텍처 판단은 원래 설정과 대등한 수준을 유지했다. 모델의 일반적인 엔지니어링 역량을 보강하려고 넣어둔 지시는 이제 상당 부분 수명이 다했다는 뜻이다.
• 반면 테스트를 등록하는 방식, 함수를 쓰는 스타일, 임포트 규칙처럼 그 프로젝트에서만 통하는 관례는 설정을 지우자 곧바로 무너졌다. 모델이 일을 잘하게 만드는 지시와, 내 기준에 맞게 일하게 만드는 지시는 성격이 다르다.
• 정리 기준을 한 문장으로 요약하면 '추론을 보완하려던 규칙은 낡았고, 주의를 특정 방향으로 돌리거나 우리 방식에 맞추게 하는 규칙은 여전히 유효하다'가 된다.
• 따라서 비용 대비 효과가 가장 큰 출발점은 전역 규칙이다. 여기서 걷어낸 항목은 대체로 다시 넣을 일이 없고, 스킬이나 서브에이전트까지 매 모델 출시마다 갈아엎는 것은 과하다는 것이 제작자의 권고다.
• 제작자는 이 과정을 자동화해 설정을 있는 상태와 없는 상태로 같은 작업을 나란히 돌려 평가 보고서를 내주는 스킬을 공개했지만, 스스로도 수백 시간 규모의 검증은 아니어서 모든 코드베이스로 일반화할 수 있을지는 확신하지 못한다고 밝혔다.

자주 묻는 질문

관련 AI 소식