CLAUDE.md도 훈련한다: MS 스킬옵트(SkillOpt) 논문 리뷰, 검증 게이트로 52전 무패한 문서 최적화

핵심 메시지

• 모델 가중치는 하나도 바꾸지 않고, 에이전트에게 건네는 마크다운 스킬 문서만 신경망처럼 훈련한다.
• 딥러닝의 훈련 장치가 텍스트로 옮겨 온다. 파라미터는 문서, 그래디언트는 실행 기록에서 뽑은 수정 방향, 학습률은 한 번에 허용하는 편집 수, 검증은 시험을 통과해야만 채택하는 게이트다.
• 52개 비교 지점 전부에서 최고이거나 공동 최고였고, GPT-5.5 기준 여섯 개 벤치마크 평균이 58.8점에서 82.3점으로 올랐다.
• 사람이 쓴 스킬이나 기존 프롬프트 최적화 기법은 오히려 점수를 깎기도 했지만, 검증 게이트 덕분에 스킬옵트는 손해가 구조적으로 막혀 있다.
• 훈련된 문서는 다른 모델과 다른 실행 환경으로 그대로 옮겨 쓸 수 있어, 한 번 만들어 재사용할수록 이득이 커진다.

쉽게 이해하기

요즘 AI는 답변만 하지 않고 도구를 부르고 파일을 고치며 여러 단계를 스스로 실행한다. 그래서 무엇을 아는지만큼 어떤 절차로 일하는지가 중요해졌고, 그 절차를 적어 둔 자연어 문서가 바로 스킬이다. 클로드 코드나 코덱스에 주는 지침 파일을 떠올리면 된다. 문제는 이 문서를 지금까지 사람이 감으로 고치거나 AI에게 한 번에 뽑아 달라고 해 왔고, 고칠수록 나빠져도 알아챌 장치가 없었다는 점이다.

마이크로소프트와 상하이 교통대 등 15명이 참여한 이 논문의 답은 발상의 전환이다. 더 좋은 프롬프트를 쓰는 대신 문서를 훈련한다. 얼린 모델이 스킬을 들고 과제를 풀면 그 실행 기록이 훈련 데이터가 되고, 별도의 옵티마이저가 실패와 성공을 분석해 수정안을 제안한다. 실패 분석과 성공 분석, 병합, 우선순위 결정 등 일곱 개 역할이 프롬프트로 분업하며, 회의 결과는 모두 JSON 패치 형태로 문서에 반영된다. 편집은 덧붙이기·끼워넣기·바꾸기·지우기 네 가지 원자적 동작으로만 제한돼 언제 어떤 수정이 들어왔고 점수를 어떻게 바꿨는지 추적된다.

가장 흥미로운 장치는 텍스트 학습률이다. 한 번에 고칠 수 있는 편집 수를 네 개로 제한하고 훈련이 진행될수록 코사인 곡선을 따라 두 개까지 줄인다. 실제로 이 제한을 풀자 점수가 떨어졌다. 잘 작동하던 규칙까지 지워 버리거나 모순된 지시가 섞이기 때문이다. 여기에 수정된 문서가 별도 검증 문제에서 점수를 올려야만 채택되는 게이트가 붙고, 동점도 탈락한다. 탈락한 수정안은 왜 실패했는지 버퍼에 기록해 다음 회의에 보여 주며, 에포크마다 이전 스킬과 현재 스킬로 같은 문제를 다시 풀어 퇴보를 점검하는 느린 검사가 따로 돈다.

평가는 혹독하다. 검색, 엑셀 조작, 문서 도구, 이미지 문서, 수학, 가상 집안일 등 여섯 개 벤치마크와 일곱 개 모델, 그리고 직접 채팅·코덱스·클로드 코드라는 세 가지 실행 환경에서 사람 전문가가 쓴 스킬, LLM이 한 번에 생성한 스킬, 텍스트그래드와 GEPA 같은 기존 프롬프트 최적화 기법과 맞붙었다. 결과는 52개 비교 지점 전부 최고 또는 공동 최고였다. GPT-5.5 기준으로 엑셀 조작은 41.8점에서 80.7점, 문서 도구는 33.1점에서 72.1점, 수학은 37.6점에서 66.9점으로 올랐고 여섯 개 평균은 58.8점에서 82.3점이 됐다. 경쟁 기법들의 최고 성적만 골라 모아도 평균 76.9점이라 스킬옵트 혼자가 그보다 5.4점 높았다.

효과는 작은 모델일수록 컸다. 가장 작은 모델은 평균 26.7점이 올랐고 문서 이미지 과제에서는 30.8점에서 80.2점으로 뛰었다. 가중치에 담기지 못한 절차적 지식을 문서가 대신 공급한 셈이다. 훈련된 문서는 이식도 된다. 큰 모델로 훈련한 스킬을 작은 모델에 그대로 주자 전부 점수가 올랐고, 코덱스에서 훈련한 엑셀 스킬을 클로드 코드에 옮기자 22.1점이 81.8점이 됐다. 훈련 비용은 과제에 따라 크게 달라지지만 한 번만 내면 되고, 배포할 때는 300~2000토큰짜리 문서 한 장만 얹으면 된다.

주요 인사이트

• 승인된 편집은 벤치마크 전체를 통틀어 한 개에서 네 개뿐이었다. 게이트가 수많은 제안을 거부하고 정말 효과 있는 수정만 남긴 결과다.
• 느린 점검 장치를 통째로 빼자 엑셀 점수가 77.5점에서 55점으로 무너졌다. 성능의 원천은 하이퍼파라미터가 아니라 훈련 규율 자체라는 근거다.
• 사람 전문가의 스킬이 오히려 점수를 16.4점 떨어뜨린 사례도 있었다. 그럴듯해 보이는 지침이 실제 모델에는 해로울 수 있다는 뜻이다.
• 큰 모델의 지식을 베끼는 증류가 아니다. 옵티마이저를 대상과 같은 크기의 모델로 바꿔도 이득의 절반에서 3분의 1을 회수했다.
• 자동 채점이 가능한 과제에 가장 잘 맞고 주관적인 영역에는 더 강한 평가 장치가 필요하다는 한계도 논문이 스스로 밝히고 있다.

자주 묻는 질문

관련 AI 소식