에이전트 라이트닝: AI 에이전트를 강화학습으로 개선하는 마이크로소프트 오픈소스 프레임워크

핵심 메시지

• 사람은 경험에서 자연스럽게 배우지만 AI 에이전트에게 학습은 대개 나중에 덧붙이는 기능이었고, 에이전트 라이트닝은 그 학습을 처음부터 기본 기능으로 놓는다.
• 핵심 아이디어는 강화학습의 기본인 부분관측 마르코프 결정과정(POMDP)으로 돌아가, 학습이 필요한 부분만 '에이전트'로 두고 나머지 실행 환경 전체를 '환경'으로 추상화한 것이다.
• 이 추상화 덕분에 구현 방식이 제각각인 어떤 에이전트든, 고전적인 강화학습부터 최신 기법까지 어떤 최적화 방법과도 연결할 수 있다.
• 관측(observability) 도구로 에이전트의 실행 기록을 모으기 때문에 원래 코드에 손을 대지 않는 비침습적 방식이며, 에이전트와 옵티마이저를 분리해 각각 따로 확장할 수 있다.
• 공개 6개월 만에 깃허브 스타 1만 4천 개를 넘기며 마이크로소프트의 최다 스타 프로젝트 50위 안에 들었다.

쉽게 이해하기

마이크로소프트 리서치가 공개한 '에이전트 라이트닝(Agent Lightning)'은 이미 동작하고 있는 AI 에이전트를 다시 만들지 않고도 스스로 나아지게 만드는 것을 목표로 하는 오픈소스 프레임워크다. 상하이의 마이크로소프트 리서치 아시아에서 이 프로젝트를 소개한 루나 치우 기술 프로그램 매니저는, 사람에게는 당연한 '경험에서 배우기'가 지금까지 에이전트에게는 뒤늦게 붙이는 부가 기능에 가까웠다고 지적한다. 에이전트 라이트닝은 그 학습 능력을 에이전트의 일급 기능으로 끌어올리려는 시도다.

발표에서 제시한 목표는 개인과 조직이 각자의 고유한 경험 데이터로 자기 에이전트를 진화시키게 하는 것이다. 개인에게는 취향과 필요를 실제로 이해하는 에이전트를, 기업에는 자사의 업무 흐름과 고객, 예외 상황을 하나의 '지능 계층'으로 축적해 경쟁자가 따라 하기 어려운 자산으로 만드는 그림이다. 문제는 에이전트마다 영역과 구현 방식, 복잡도가 너무 달라서, 모두가 실행 데이터를 남기는데도 그 데이터를 개선으로 바꾸기가 대단히 어렵다는 점이었다.

해법은 의외로 원론적이다. 모든 강화학습 설정은 부분관측 마르코프 결정과정으로 정식화할 수 있다는 점에서 출발해, AI 실행 과정 전체에서 그 구조만 뽑아낸다. 학습이 필요한 부분만 에이전트로 취급하고 나머지는 전부 환경으로 밀어 넣으면, 에이전트끼리의 구현 차이가 환경 안쪽으로 숨는다. 그 결과 어떤 에이전트든 어떤 학습 방법으로든 최적화할 수 있는 조합이 성립한다.

이 설계에서 나오는 이점은 세 가지로 정리된다. 첫째, 관측 도구를 이용해 에이전트의 모든 활동을 한 갈래 데이터 파이프라인으로 모으되 원래 코드에는 손대지 않는다. 둘째, 알고리즘을 갈아 끼울 수 있어 전체를 다시 만들지 않고도 고전적 강화학습과 에이전트 전용 신기법을 오갈 수 있다. 분야가 워낙 빠르게 바뀌고 무엇이 최선인지가 용도마다 다르기 때문에 중요한 지점이다. 셋째, 에이전트와 옵티마이저를 깔끔히 떼어 놓아 필요한 쪽만 따로 키울 수 있다.

실제 사례도 함께 소개됐다. 여러 에이전트가 협업하는 고객 응대 과제에서는 아주 작은 모델을 여덟 에폭만 학습시켜 GPT-4 계열 모델을 쓴 에이전트에 견줄 만한 성능을 냈고, 기억을 가진 에이전트를 학습시켜 처음 보는 환경에서의 탐색을 크게 개선한 새 알고리즘도 이 프레임워크 위에서 구현됐다. 최적화 대상이 모델 파라미터에만 국한되지도 않는다. 러스트 정형 검증 코드를 쓰는 사내 전용 코딩 에이전트는 과제당 6달러가 채 안 되는 프롬프트 튜닝만으로 평균 성공률을 10포인트 넘게 끌어올렸고, 멀티모달 로봇 에이전트는 프롬프트 자동 조정으로 성공률을 두 배로 높이면서 완료 시간을 크게 줄였다.

주요 인사이트

• '모든 에이전트에 통하는 학습 시스템'이라는 목표는 새 알고리즘이 아니라 경계선을 다시 긋는 추상화에서 나왔다. 학습 대상만 남기고 나머지를 환경으로 밀어내는 순간, 프레임워크마다 달랐던 호환성 문제가 사라진다.
• 강화학습이라고 해서 반드시 모델 가중치를 건드릴 필요는 없다. 프롬프트 튜닝만으로 과제당 6달러 미만에 성공률을 10포인트 넘게 올린 사례는, 경험 데이터를 쓰는 최적화의 진입 장벽이 생각보다 낮을 수 있음을 보여 준다.
• 관측 도구로 실행 기록을 모으는 비침습적 설계는 실무에서 특히 중요하다. 이미 운영 중인 에이전트를 멈추거나 다시 쓰지 않고도 학습 파이프라인을 붙일 수 있다는 뜻이기 때문이다.
• 에이전트와 옵티마이저의 분리는 단순한 코드 정리가 아니라 운영 전략이다. 추론이 몰릴 때와 학습이 몰릴 때 필요한 자원이 다르므로, 각각을 따로 확장할 수 있어야 비용을 통제할 수 있다.
• 발표는 기업이 축적하는 업무 데이터를 '복제 불가능한 지능 계층'으로 규정한다. 같은 기반 모델을 쓰더라도 무엇을 학습 신호로 남기느냐가 차별점이 된다는 관점이다.

자주 묻는 질문

관련 AI 소식