클로드 스킬 검증 시스템 정리: 이밸류에이션 테스트, A/B 테스트, 디스크립션 최적화

핵심 메시지

• 지금까지 스킬이 제대로 작동하는지 확인할 방법이 없어 사람의 감에 의존했지만, 앤스로픽이 스킬 크리에이터에 자동 테스트를 내장했다.
• 이밸류에이션 테스트는 하나의 스킬을 여러 입력으로 동시에 돌린 뒤 사용자가 말로 적어 둔 기준에 따라 자동 채점한다.
• A/B 테스트는 두 버전을 블라인드로 비교하며, 스킬을 쓴 결과와 아예 쓰지 않은 결과를 견줘 볼 수도 있다.
• 스킬은 능력을 보강하는 유형과 내 방식을 각인하는 유형으로 나뉘고, 앞쪽은 모델이 좋아질수록 오히려 걸림돌이 될 수 있다.
• 디스크립션 최적화 기능도 추가됐는데, 앤스로픽이 자사 공식 스킬에 적용했더니 여섯 개 중 다섯 개에서 트리거 정확도가 개선됐다.

쉽게 이해하기

클로드 스킬을 만들어 본 사람이라면 익숙한 장면이 있다. 스킬을 하나 만들고 한 번 돌려 본 뒤 결과물을 눈으로 훑고 괜찮은 것 같다고 판단하는 과정이다. 영상은 이를 간을 한 번도 보지 않고 요리를 완성하는 것에 비유한다. 앤스로픽이 스킬 크리에이터를 대폭 손보면서 이 블랙박스에 자동화된 테스트가 들어왔다.

새로 생긴 테스트는 두 종류다. 첫째는 이밸류에이션 테스트로, 하나의 스킬을 서로 다른 입력값 여러 개로 동시에 실행한 뒤 미리 정해 둔 기준으로 채점한다. 이 기준은 코드가 아니라 문장으로 적으면 된다. 결과물이 500자 이내여야 한다, 특정 말투를 지켜야 한다, 도입부에 후킹 문장이 있어야 한다처럼 채점 기준표를 말로 써 주면 클로드가 그대로 평가한다. 여러 에이전트가 병렬로 돌기 때문에 여러 건을 한꺼번에 처리한다.

여기서 대부분이 빠지는 함정이 있다. 그냥 테스트 돌려 달라고만 말하면 클로드가 알아서 기준을 정하고 통과했다는 결과만 돌려준다. 돌아가긴 한다는 확인과 내가 원하는 수준으로 돌아간다는 확인은 전혀 다른 이야기다. 영상은 최적화할 항목을 한 번에 하나만 정하라고 권한다. 토큰 사용량이면 토큰 사용량, 말투 일치도면 말투 일치도로 좁혀야 변수가 뒤엉키지 않고 의미 있는 결과가 나온다.

둘째는 A/B 테스트다. 두 개 이상의 스킬 버전에 같은 입력을 넣고 결과물의 품질을 비교하는데, 판정하는 심사위원 에이전트는 어느 쪽이 A이고 B인지 모르는 상태로 평가하는 블라인드 구조다. 놓치기 쉬운 활용법은 버전끼리 비교하는 데 그치지 않고, 스킬을 쓴 결과와 스킬 없이 클로드에게 그냥 시킨 결과를 견주는 것이다. 초보 운전자에게는 내비게이션이 필수지만 그 도시를 10년 달린 택시 기사에게는 오히려 느린 길로 안내할 수 있듯, 모델 성능이 충분히 올라가면 스킬의 지시가 모델의 판단을 묶는 족쇄가 될 수 있고 A/B 테스트는 그 시점을 감이 아니라 데이터로 잡아 준다.

그래서 스킬 유형에 따라 봐야 할 지점이 달라진다. 클로드가 원래 약한 영역을 보강하는 능력 향상형 스킬은 모델 업그레이드에 취약하므로 새 모델이 나올 때마다 스킬이 있을 때와 없을 때를 비교해야 하고, 이미 잘하는 일을 내가 원하는 방식으로 하게 만드는 선호도 각인형 스킬은 정해 둔 절차와 출력 형식을 그대로 따르는지 확인하는 충실도 검증이 핵심이다. 테스트 외에 디스크립션 최적화 기능도 들어왔는데, 클로드는 스킬의 이름과 설명만 보고 무엇을 불러올지 판단하기 때문에 설명이 부실하면 좋은 스킬도 호출되지 않고 너무 넓게 쓰면 엉뚱한 상황에서 발동한다. 앤스로픽이 자사 공식 스킬에 이 기능을 돌려 보니 여섯 개 중 다섯 개에서 트리거 정확도가 개선됐다.

주요 인사이트

• 이번 업데이트의 본질은 기능 추가가 아니라 위상 변화다. 스킬이 소프트웨어 개발처럼 테스트를 전제로 관리하는 엔지니어링 대상이 됐고, 테스트 없는 스킬은 검증되지 않은 코드와 같아졌다.
• 채점 기준을 코드가 아니라 문장으로 적는다는 점이 중요하다. 검증의 병목이 구현 능력에서 내가 원하는 좋은 결과물이 무엇인지 스스로 정의하는 능력으로 옮겨 갔다.
• 스킬을 만드는 일보다 버리는 시점을 아는 일이 어렵다. 능력 향상형 스킬을 새 모델이 나올 때마다 A/B로 점검하지 않으면, 필요 없어진 스킬을 계속 달고 다니며 성능을 깎게 된다.
• 앤스로픽 공식 블로그의 표현대로 테스트는 될 것 같은 스킬을 된다고 아는 스킬로 바꿔 준다. 커스텀 스킬을 자산으로 본다면 이제 그 자산에 품질 보증 체계가 생긴 셈이다.

자주 묻는 질문

관련 AI 소식