AI 에이전트 스킬 평가 방법: 스킬이 오히려 성능을 떨어뜨리는 경우와 검증 절차

핵심 메시지

• 스킬은 에이전트에게 반복해서 주던 지시를 코드화한 것으로, 텍스트뿐 아니라 파이썬 파일과 API, MCP 연결까지 포함할 수 있다.
• 약 80개 스킬을 검증한 결과, 상당수는 성능을 개선하지 못했고 일부는 오히려 결과를 나쁘게 만들었다.
• 모델이 스스로 만든 스킬일수록 내용이 일반적이고 모호해, 지연 시간과 토큰만 늘리는 경우가 많다.
• 모델이 계속 바뀌기 때문에 어제 유용했던 스킬이 다음 모델에서는 필요 없거나 방해가 될 수 있다.
• 고수준 지표만 보지 말고 실행 트레이스를 들여다봐야 스킬이 어디서 어긋나는지 알 수 있다.

쉽게 이해하기

언어 모델을 쓰다 보면 특정 작업에 대해 아주 구체적인 지시를 줄 때 결과가 좋아진다는 것을 알게 된다. 그 지시를 매번 복사해 붙여넣는 대신 하나로 정리해 둔 것이 에이전트의 스킬이다. 스킬은 텍스트 지시에 그치지 않고 파이썬 파일이나 API, MCP 연결과 결합해 정보를 조사하거나 데이터를 분석하거나 코드를 훑어 PR을 만드는 일까지 수행할 수 있다.

문제는 그다음이다. 에이전트에게 무언가를 가르칠 때마다 스킬로 저장하다 보니 사람들은 아주 많은 스킬을 갖게 됐는데, 정작 그것들이 실제로 유용한지는 검증되지 않은 채 쌓인다. 여기에 과학을 더한 것이 SkillsBench라는 연구적 접근으로, 약 80개의 스킬을 놓고 실제로 성능이 개선되는지 평가했다.

결과는 반갑지 않다. 일정 비율의 스킬은 도움이 되지 않았고, 특히 모델이 자기 스킬을 직접 만들도록 두었을 때 그런 경향이 뚜렷했다. 모델이 만든 스킬은 대체로 일반적이고 모호해서, 지연 시간과 토큰 소모만 늘리고 계속 생각만 하다 아무 데도 도달하지 못하거나, 때로는 엉뚱한 방향으로 작업을 끌고 가기도 한다.

여기에 시간 변수까지 겹친다. 모델은 계속 좋아지고 종류도 다양하다. 어떤 모델에 잘 맞던 스킬이 다른 모델에서는 제대로 작동하지 않을 수 있고, 오늘은 유용해도 다음 모델이 나오면 필요 없어질 수 있다. 그래서 스킬이 많아질수록 여전히 쓸모가 있는지 계속 확인하는 절차가 중요해진다. 평가의 출발점은 단순하다. 스킬을 넣었을 때와 넣지 않았을 때를 비교해, 정말로 더 빨라지고 더 정확해지는지 데이터를 모으는 것이다.

발표자는 성격이 다른 세 가지 과제로 이를 보여준다. 의존성 감사 과제에서는 스킬을 넣자 통과율이 0/10에서 10/10으로 올라갔고 속도도 훨씬 빨라졌다. 재무 보고서 추출 과제에서는 약간 나아졌지만 큰 차이는 없었는데, 이미 성능이 좋은 모델은 그 작업을 할 줄 알았기 때문이다. 반면 매출 피벗 분석 과제에서는 스킬을 쓰는 편이 오히려 역효과였다. 한 모델은 스킬을 넣자 훨씬 오래 걸렸고, 다른 모델은 스킬을 줬을 때 실패했지만 주지 않았을 때는 알맞은 도구를 스스로 찾아냈다.

주요 인사이트

• 스킬은 모델의 능력을 더하는 장치가 아니라 선택지를 좁히는 장치에 가깝다. 모델이 이미 더 나은 경로를 알고 있다면, 좁혀주는 행위 자체가 손해가 된다.
• '스킬이 있을 때와 없을 때'라는 단순한 대조군 비교만으로도 상당한 판단 근거가 나온다. 정교한 벤치마크보다 실제로 중요한 작업 하나를 테스트로 만드는 편이 낫다.
• 모델이 스스로 만든 스킬을 그대로 쌓아두는 습관은 편하지만 위험하다. 사람이 직접 손을 대야 하는 이유가 여기에 있다.
• 스킬의 유효 기간은 모델의 수명에 묶여 있다. 스킬 저장소는 자산이 아니라 유지보수 대상으로 다뤄야 한다.
• 통과율이나 실행 시간 같은 지표는 문제가 있다는 신호만 줄 뿐이다. 원인은 트레이스를 열어 모델이 실제로 무엇을 했는지 봐야 드러난다.

자주 묻는 질문

관련 AI 소식