마이크로소프트 SkillOpt: AI 에이전트 스킬을 경사하강법처럼 자동 최적화하는 방법

핵심 메시지

• SkillOpt는 에이전트가 따르는 '스킬 문서'를 신경망 가중치처럼 학습 가능한 대상으로 보고 자동으로 개선한다.
• 밑바탕 언어 모델은 전혀 건드리지 않고, 스킬 텍스트만 반복적으로 수정해 성능을 끌어올린다.
• 옵티마이저 역할의 강력한 모델이 에이전트의 전체 실행 과정을 분석해 스킬 수정안을 제안하고, 검증 관문을 통과한 수정만 반영한다.
• 스프레드시트 벤치마크에서 GPT-5.5의 정확도를 41.8%에서 80.7%로 높였고, 여러 벤치마크와 실행 환경에서 기존 방법을 앞섰다.

쉽게 이해하기

AI 에이전트의 성능은 어떤 기반 모델을 쓰느냐만으로 결정되지 않는다. 도구를 어떻게 호출하고, 어떤 지침을 따르며, 출력을 어떻게 구조화하는지 같은 '절차'가 크게 좌우한다. 이런 절차는 보통 에이전트가 특정 작업을 수행할 때 지켜야 할 규칙과 전략을 적은 '스킬 문서'로 표현된다.

문제는 대형 언어 모델이 엄격한 학습 과정을 거치는 것과 달리, 스킬 문서는 대개 모델에게 한 번 만들어 달라고 하거나 사람이 손으로 고쳐 쓰는 데 그친다는 점이다. 스킬을 잘 다듬는 일이 에이전트 실행에 결정적인데도, 신경망의 경사하강법에 해당하는 개선 방법이 없었다. 마이크로소프트의 SkillOpt는 바로 이 빈자리를 스킬을 '학습 가능한 산출물'로 취급해 메우려 한다.

작동 방식은 이렇다. 에이전트는 작업 설명과 스킬 문서를 받아 문제를 풀고, 그 전체 과정(도구 사용·중간 단계·최종 출력)이 옵티마이저 역할의 또 다른 강력한 모델에게 넘어간다. 옵티마이저는 이 실행 기록을 분석해 스킬 문서를 고칠 수정안을 제안한다. 기존 지침을 바꾸거나 없애고, 앞으로 유용할 새 규칙을 더하는 식이다. 여기서 스킬 문서는 신경망의 가중치, 수정 제안은 가중치를 어떻게 바꿀지 알려주는 기울기에 해당한다.

SkillOpt는 제안된 수정을 무턱대고 반영하지 않는다. 먼저 수정안들의 우선순위를 매겨 유망한 것만 추리는데, 한 번에 허용하는 수정 개수는 학습률처럼 작동해 스킬이 지나치게 급변하지 않도록 막는다. 이어 후보 수정을 적용한 스킬을 검증 데이터로 다시 돌려 성능이 실제로 좋아졌는지 확인하는 '검증 관문'을 두고, 개선이 확인된 수정만 받아들인다. 실패한 수정은 이후에도 옵티마이저에게 보여 같은 실수를 되풀이하지 않게 한다.

빠른 수정 경로와 별개로, 여러 반복에서 드러난 큰 패턴을 보는 느린 경로도 있다. 에포크가 끝날 때마다 시작 시점 스킬과 개선된 스킬로 같은 문제들을 각각 풀어, 결과를 개선·후퇴·지속 실패·안정 성공 네 갈래로 분류한다. 옵티마이저는 이 분류를 바탕으로 무엇이 도움이 되고 무엇이 해가 되는지 상위 수준의 패턴을 찾아 스킬의 특정 부분을 고치고, 어떤 수정이 통했는지 기억하는 '메타 스킬'을 유지해 다음 에포크의 판단에 활용한다.

주요 인사이트

• 스킬을 학습 대상으로 보면, 모델 재학습 없이도 텍스트 지침만 다듬어 에이전트의 특정 분야 전문성을 키울 수 있다.
• 무작정 수정을 반영하지 않고 검증 관문으로 성능 향상이 확인된 것만 받아들이는 설계가 최적화를 안정적으로 만든다.
• 한 번에 허용하는 수정 수를 제한하는 것이 신경망의 학습률과 같은 역할을 해 급격한 변화를 막는다.
• 최적화된 스킬은 다른 모델이나 다른 에이전트 프레임워크로 옮겨도 상당 부분 효과가 유지돼, 스킬이 이식 가능한 지식을 담고 있음을 시사한다.
• 이 방식은 최상위 모델뿐 아니라 더 작은 모델에서도 비슷한 성능 향상을 보였다.

자주 묻는 질문

관련 AI 소식