클로드 코드 자동 모드 작동 원리 — 별도 분류기, 프롬프트 인젝션 탐침, 설정 방법

핵심 메시지

• 앤트로픽 자체 조사에서 클로드 코드의 권한 승인 요청 중 97%가 승인됐다. 승인 피로가 통제 장치를 형식적으로 만든다는 문제의식에서 자동 모드가 나왔다.
• 자동 모드에서도 클로드가 자기 행동을 승인하지는 않는다. 분리된 분류기가 사용자의 메시지와 도구 호출만 보고 판단하며, 클로드의 추론이나 응답, 도구 출력은 보지 않는다.
• 분류기가 보는 것은 클로드가 사용자의 의도를 넘어 되돌릴 수 없거나 파괴적인 방향으로 나아가는지 여부다. 거부되면 클로드는 더 안전한 우회로를 찾고, 계속 거부되면 사용자에게 승인을 넘긴다.
• 웹페이지나 파일에 숨은 지시가 섞이는 프롬프트 인젝션에는 서버 측 탐침이 먼저 대응한다. 앤트로픽은 탐침과 자동 모드를 함께 켠 자체 평가에서 공격 성공률이 0으로 떨어졌다고 밝혔다.
• 기본값에서는 작업 디렉터리와 깃 원격만 내부로 간주하므로, 사내 인프라까지 외부로 취급된다. 그래서 environment 설정으로 환경을 서술해 주는 편이 낫다.

쉽게 이해하기

클로드 코드는 명령 실행, 웹 요청, 파일 수정처럼 클로드가 행동을 제안할 때마다 사용자에게 승인을 물어 왔다. 하나하나 승인하고 거절하는 방식은 통제권을 주지만, 여러 단계를 거치는 작업에서는 승인 피로를 만든다. 앤트로픽이 밝힌 자체 조사에서 이 권한 요청의 97%는 결국 승인됐다. 자동 모드는 그 지점에서 출발한다.

핵심 질문은 하나다. 사용자가 매번 승인하지 않는다면 무엇이 안전 여부를 판단하는가. 답은 클로드 자신이 아니다. 클로드가 스스로를 검토하면 같은 맥락을 공유한 채 자기 풀 리퀘스트를 직접 작성하고 리뷰하고 병합하는 것과 같아진다는 것이 영상의 설명이다. 그래서 행동은 별도의 분류기를 거친다.

분류기는 사용자의 메시지와 클로드의 도구 호출을 보지만, 클로드의 추론 과정이나 사용자에게 보내는 답변, 도구 실행 결과는 보지 않는다. 거기에 휘둘리지 않기 위해서다. 분류기는 각 행동을 사용자의 의도와 대조해 일치하는 것만 승인한다. 로컬 정리만 요청했는데 원격 브랜치를 삭제하려는 것처럼, 의도를 넘어 돌이킬 수 없는 쪽으로 가는지를 본다.

모든 행동이 분류기를 거치는 것은 아니다. 사용자가 지정한 거부·질문·허용 규칙이 가장 먼저 적용되고, 그다음 계층 검사가 어떤 행동을 분류기에 넘길지 정한다. 코드베이스 검색이나 프로젝트 내 파일 수정처럼 읽기 전용이거나 되돌릴 수 있는 작업은 분류기를 건너뛰고, 셸 명령이나 웹 요청처럼 환경 바깥에 닿는 작업만 검사를 받는다.

프롬프트 인젝션 대응은 별도의 층이다. 클로드가 읽는 웹페이지나 파일에는 원래 의도에서 벗어나게 만드는 숨은 지시가 들어 있을 수 있다. 그래서 그 내용이 컨텍스트에 들어가기 전에 서버 측 탐침이 모든 도구 결과를 훑어 의심스러운 부분에 경고를 덧씌우고, 이어서 분류기가 다음 행동이 여전히 요청과 맞는지 확인한다. 공격은 두 겹을 모두 통과해야 한다.

주요 인사이트

• 자동 모드의 설계 원칙은 '클로드를 믿자'가 아니라 '검토자를 분리하자'다. 분류기가 클로드의 추론과 도구 출력을 보지 못하게 막아 둔 것도, 같은 정보를 공유하는 순간 검토가 편향된다는 판단 때문이다.
• 거부는 곧바로 중단으로 이어지지 않는다. main 브랜치로의 강제 푸시가 막히면 클로드는 새 브랜치로 푸시하는 식으로 더 안전한 경로를 찾고, 그마저 반복해서 막힐 때만 사용자에게 판단이 넘어온다.
• 설정 항목은 성격이 두 가지로 나뉜다. environment와 allow·soft deny·hard deny는 분류기가 참고하는 지침이고, deny와 ask 규칙은 도구 호출 자체를 차단하거나 자동 모드에서도 확인을 강제하는 하드 제한이다. 다만 임의 코드 실행을 열어 줄 만큼 넓은 허용 규칙은 그래도 분류기를 거친다.
• 조직 단위 운영을 염두에 둔 구조다. 관리자가 관리 설정에 환경을 정의하면 조직의 모든 개발자가 이를 상속받고, 개발자는 사용자 설정에서 항목을 추가할 수는 있어도 관리자가 정한 것을 없앨 수는 없다.
• 영상은 도입 방식까지 조언한다. 좁게 시작해 무엇이 거부되는지 지켜본 뒤 범위를 넓히고, 프로덕션 인프라 변경 같은 고위험 작업은 직접 검토하거나 자체 평가를 만들어 확신을 쌓으라는 것이다.

자주 묻는 질문

관련 AI 소식