AI VIDEO BRIEFING
스탠퍼드 CS329A 강의 정리: AI 에이전트의 계획 수립과 다단계 추론을 다룬 논문 세 편
스탠퍼드 CS329A 강의가 다룬 LATS, SPRINT, SWiRL 세 논문을 정리했다. 트리 탐색으로 계획을 고르고, 독립적인 단계를 병렬로 돌리고, 도구 사용을 강화학습으로 가르쳐 AI 에이전트의 계획 능력을 끌어올리는 방법을 짚는다.
핵심 메시지
- 여행 계획처럼 여러 단계를 거쳐야 하는 문제는 '추론 → 행동 → 탐색'을 반복해야 풀리며, 이를 언어 모델에 이식한 것이 LATS 프레임워크다.
- LATS는 바둑 AI에서 쓰던 몬테카를로 트리 탐색(MCTS)을 언어 모델에 접목해, 여러 갈래의 계획을 점수로 평가하고 유망한 쪽을 확장한다.
- SPRINT는 추론 과정 중 서로 의존하지 않는 단계를 찾아내 병렬로 실행하게 만들어, 순차 토큰 수를 약 40% 줄이면서 정확도까지 올렸다.
- SWiRL은 학습 중에 실제 도구를 호출하지 않고도 다단계 도구 사용을 가르치는 방법으로, 배우지 않은 도구와 과제에도 성능이 전이됐다.
- 세 연구 모두 '결과가 맞았는가'보다 '중간 과정이 좋았는가'를 평가하는 쪽이 더 나은 학습으로 이어진다는 점을 보여준다.
쉽게 이해하기
스탠퍼드 대학의 CS329A '스스로 개선하는 AI 에이전트' 강의 다섯 번째 시간은 계획 수립과 다단계 추론을 주제로 세 편의 논문을 다뤘다. 강의는 하와이 여행 계획을 예시로 든다. 예산을 따져보는 추론, 검색이나 커뮤니티 글 읽기 같은 행동, 그리고 얻은 정보로 계획을 다시 다듬는 탐색이 반복돼야 문제가 풀린다는 것이다. 단순히 한 번에 답을 내놓는 모델로는 이런 과제를 감당하기 어렵다는 문제의식에서 출발한다.
첫 번째 논문 LATS는 강화학습 분야에서 오래 쓰인 몬테카를로 트리 탐색을 언어 모델의 추론 경로에 끌어들였다. 모델이 여러 행동을 후보로 뽑으면 각 행동을 실제 환경에서 실행해보고, 그 결과에 점수를 매겨 유망한 가지를 더 넓게 펼친다. 점수는 다른 언어 모델을 심판으로 삼아 0에서 1 사이 값을 받는 방식과, 같은 행동이 몇 번이나 반복해 뽑혔는지 세는 자기일관성 점수를 더해 만든다. 여기에 시도가 끝난 뒤 모델이 스스로 '무엇 때문에 실패했는지'를 되짚어 기록하는 반성 단계가 붙는다.
강의는 LATS의 한계도 분명히 짚었다. 트리를 넓게 펼치고 되돌아가는 과정마다 비용이 붙는데 논문은 비용 대비 효과를 제대로 분석하지 않았고, 결제처럼 되돌릴 수 없는 행동이 섞인 상황에는 이 방식을 그대로 적용하기 어렵다는 것이다. 실제 서비스에 옮길 때는 '탐색해도 안전한 행동'과 그렇지 않은 행동을 가르는 일이 별도의 숙제로 남는다.
두 번째 논문 SPRINT는 다른 각도에서 접근한다. 최근 추론 모델은 어려운 문제일수록 더 길게 생각하고, 그만큼 정확도가 올라가지만 대기 시간과 비용도 함께 커진다. 그런데 그 긴 사고 과정을 뜯어보면 서로 아무 상관 없는 단계가 상당수라는 점에 착안했다. 연구진은 기존 추론 기록을 다른 모델로 하여금 '계획 부분'과 '실행 부분'으로 나눠 표시하게 하고, 단계 사이 의존 관계를 그래프로 만든 뒤, 독립적인 계획들을 한꺼번에 내놓도록 모델을 미세조정했다.
세 번째 논문 SWiRL은 도구를 쓰는 다단계 추론을 강화학습으로 가르친다. 핵심은 학습 도중에 실제 검색이나 계산기를 호출하지 않는다는 점이다. 도구 호출은 미리 데이터를 만들 때만 실행해두고, 학습 단계에서는 모델이 만들어낸 질의 자체의 품질만 심판 모델이 평가한다. 사람의 나이를 묻는 질문이라면, 검색 결과를 보지 않아도 '이 사람의 나이를 검색하겠다'는 판단이 타당한지는 알 수 있다는 논리다.
주요 인사이트
- SPRINT는 원래 속도를 위해 만든 방법인데 정확도까지 올랐다. 70억 개 규모 모델을 미세조정했더니 기준 모델 대비 정확도가 3.5%포인트 오르면서, 순차 토큰 수는 320억 개 규모 모델보다도 적어졌다. 구조적으로 생각하도록 강제하는 것 자체가 모델에 도움이 된다는 뜻이다.
- SWiRL의 학습 데이터를 고를 때, 최종 답이 맞은 경로만 남기는 것보다 중간 단계가 좋았던 경로를 남기는 쪽이 더 좋은 결과를 냈다. 이미 잘 푸는 문제만 모아 학습시키면 모델이 못 풀던 문제를 새로 풀게 되지는 않기 때문이라는 설명이다.
- SWiRL의 가장 중요한 결과는 전이다. 계산기를 쓰는 수학 문제로 학습한 모델이 검색 도구를 쓰는 다중 질의 문제에서 정확도 65%에서 71%로 올랐고, 반대 방향도 마찬가지였다. 특정 도구 사용법이 아니라 '단계를 나눠 생각하고 도구를 부르는 법'을 배운 셈이다.
- 강의자는 앤스로픽 소넷 4.5 시스템 카드에 모델이 도구를 최소 100번 쓰도록 권장하는 프롬프트가 있었다는 점을 언급하며, 한 문제를 푸는 데 쓰이는 토큰과 도구 호출 횟수가 예전 기준을 훨씬 넘어서고 있다고 짚었다.
- SPRINT의 병렬화 이득은 문제에 따라 달랐다. 생각이 짧게 끝나는 쉬운 문제에서는 계획과 실행을 나누는 절차 자체가 오히려 손해였고, 오래 생각해야 하는 어려운 문제에서만 효과가 뚜렷했다.
자주 묻는 질문
LATS에서 어떤 행동을 다음에 시도할지 어떻게 고르나?
UCT라는 지표를 쓴다. 현재까지 알려진 가치가 높은 쪽을 택하는 항과, 부모 노드에 비해 덜 방문된 가지를 우대하는 항을 합친 값이다. 이미 많이 가본 길은 점수가 낮아지므로 아직 가보지 않은 선택지도 탐색하게 된다. 몬테카를로 트리 탐색 연구에서 그대로 가져온 방식이며, 강의자는 이것이 최적이라는 증명은 없고 탐색과 활용의 균형을 잡기 위한 설계라고 설명했다.
SPRINT는 모델 구조를 바꾸는 것인가?
아니다. 모델은 여전히 다음 토큰을 하나씩 예측한다. 다만 미세조정을 통해 '계획 1, 계획 2'처럼 서로 독립적인 계획을 한 번에 태그로 표시해 출력하도록 학습시키고, 그 태그를 보고 바깥에서 실행을 병렬로 갈라 돌리는 방식이다.
SWiRL에서 심판 모델은 도구 실행 결과를 보지 못하는데 어떻게 점수를 매기나?
심판이 평가하는 대상은 도구의 출력이 아니라 모델이 만들어낸 질의 자체다. 예를 들어 두 사람 중 누가 나이가 많은지 묻는 문제라면, 첫 번째 사람의 나이를 검색하겠다는 행동이 타당한지는 검색 결과 없이도 판단할 수 있다. 이런 과정 단위 보상을 모아 강화학습에 쓴다.
다단계 학습에서 강화학습과 지도 미세조정 중 어느 쪽이 나았나?
강화학습 쪽이 상당한 차이로 더 나았다. 지도 미세조정은 주어진 경로를 그대로 따라 하는 방식이라 최종 답이 틀린 데이터가 섞이면 성능을 해치는 반면, 강화학습은 앞선 단계를 본 상태에서 모델이 새 행동을 시도하고 그 행동에 보상을 받기 때문이다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗