스탠퍼드 CS329A 자기개선 AI 에이전트 마지막 강의 정리: 검증 병목과 와트당 지능

핵심 메시지

• 자기개선 루프가 더 나아가려면 추론 사슬의 다양성, 검증의 신뢰성, 학습 과제 선택이라는 세 가지 병목을 풀어야 한다.
• 한 모델이 혼자 합성 데이터를 만들면 응답이 비슷해져 몇 번의 반복 뒤 성능이 정체되지만, 생성 에이전트와 비평 에이전트를 나눠 토론시키면 다양성이 유지된다.
• 정답만 맞추면 통과시키는 결과 기반 보상은 틀린 추론 과정을 걸러내지 못해, 검증기의 판단을 다시 검토하는 '메타 검증' 구조가 제안됐다.
• 모델이 스스로 적당한 난이도의 과제를 제안하고 풀게 하면 사람이 만든 문제 없이도 코딩 성능이 오르고 수학 영역으로도 전이됐다.
• 강의 후반부는 '와트당 지능'이라는 지표를 제시하며, 노트북 같은 로컬 기기가 처리할 수 있는 질의 비중이 빠르게 커지고 있다고 봤다.

쉽게 이해하기

스탠퍼드 온라인이 공개한 CS329A '자기개선 AI 에이전트'의 마지막 강의는 한 학기 내용을 정리하고 앞으로 풀어야 할 연구 문제를 제시하는 자리였다. 강의는 에이전트를 '목표를 갖고 환경과 상호작용하며 피드백으로 자기 행동을 교정하는 시스템'으로 정의하고, 그 안에서 검증기·보상·강화학습·탐색이 어떻게 맞물리는지를 다시 짚었다. 현재는 사람이 짜놓은 워크플로가 언어모델과 도구를 조율하는 형태가 많지만, 코딩 에이전트처럼 일부 영역에서는 흐름 자체가 자율적으로 돌아가기 시작했다는 진단이다.

첫 번째 숙제는 다양성이다. 한 모델이 스스로 만든 답 가운데 맞은 것만 골라 다시 학습시키는 방식은 몇 차례 반복하면 성능이 멈춘다. 온도를 높여도 한 모델의 응답은 서로 비슷하기 때문이다. 강의가 소개한 다중 에이전트 파인튜닝 연구는 답을 만드는 생성 에이전트와 그 답을 비평하는 비평 에이전트를 따로 두고 여러 라운드의 토론을 거치게 해, 반복 학습을 계속해도 응답의 다양성과 성능이 함께 유지되는 결과를 보였다. 학습한 수학 영역뿐 아니라 GSM8K 같은 인접 문제에서도 성능이 올랐다.

두 번째 숙제는 검증이다. 최종 답이 정답과 일치하는지만 보는 보상 방식은 여러 수학 벤치마크를 포화시켰지만, 답은 맞고 과정은 틀린 경우를 잡지 못한다. 정리 증명처럼 단계별 엄밀함이 필요한 영역에서는 언어모델을 심판으로 세워도 잘못된 증명을 타당하다고 판정하는 문제가 있다. 강의가 소개한 DeepSeek-Math V2는 검증기의 분석 자체를 다시 검토하는 메타 검증기를 추가해, 검증기가 없는 오류를 지어내지 않았는지, 지적한 문제로부터 점수가 실제로 도출되는지를 평가하게 했다. 반복 최적화 여덟 번을 거쳐 32개 증명 중 최선을 고르는 조건에서 2024년 IMO 쇼트리스트 문제의 증명 점수가 42%에 근접했다.

세 번째 숙제는 무엇으로 학습할지다. 지금은 사람이 추론 과정을 써주거나 전문가가 문제와 정답 쌍을 만들어야 하는데, 모델이 사람 수준을 넘어설수록 그런 전문가를 계속 구하기 어려워진다. 강의가 소개한 연구는 모델이 스스로 과제를 제안하고 스스로 푸는 구조를 택했다. 제안자는 풀이 성공률이 0이면 보상을 받지 못하고, 성공률이 적당히 낮을 때 가장 큰 보상을 받도록 설계돼 자연히 '너무 쉽지도 불가능하지도 않은' 문제를 고르게 된다. 코드 실행으로 과제의 유효성을 검사하고 과제 버퍼를 유지해 난이도가 점점 올라가는 커리큘럼이 만들어졌으며, 사람이 만든 프롬프트 없이도 코딩 벤치마크에서 최고 수준에 도달했다.

후반부는 비용 이야기다. 두 강연자는 정확도만 보던 평가에 전력을 함께 넣은 '와트당 지능'이라는 지표를 제안했다. 평균 과제 정확도를 그 과제를 푸는 데 든 평균 소비 전력으로 나눈 값으로, 활성 파라미터 200억 개 이하의 로컬 모델 20종 이상과 100만 건의 질의를 놓고 측정했다. 2023년 이후 로컬 모델이 감당할 수 있는 질의 비중은 3.1배로 늘었고, 하드웨어 효율 개선 1.7배까지 합쳐 지표 전체로는 2년간 5.3배가 개선됐다. 다만 로컬 가속기는 여전히 데이터센터용 칩보다 효율이 낮아, 애플 M4 맥스는 B200보다 와트당 지능이 1.5배 낮게 나왔다.

주요 인사이트

• 자기개선의 한계는 모델 크기보다 루프의 구조에 있다. 다양성이 고갈되거나 검증이 흔들리거나 학습할 과제가 떨어지면, 같은 모델로도 더 이상 올라가지 못한다.
• 검증 가능한 영역에서 얻은 실력이 검증이 어려운 영역으로 얼마나 전이되는지가 다음 단계의 핵심 질문으로 제시됐다. 강연자들은 이를 '컴퓨트를 많이 쓰는 실험이지만 해볼 가치가 있는 연구'로 봤다.
• 칩 설계 시뮬레이션이나 습식 실험처럼 보상 하나를 얻는 데 며칠이 걸리는 영역은 강화학습 루프에 그대로 넣을 수 없다. 오프라인 데이터로 결과를 예측하는 보상 모델을 대신 쓰지만, 그 정확도는 확보한 데이터량에 좌우된다.
• 지속 학습을 두고는 가중치를 갱신할 것인가 외부 메모리를 키울 것인가라는 선택지가 논의됐다. 지식 조회는 데이터베이스로 대체할 수 있지만, 새 영역을 추론하는 능력이나 로봇의 신체 간 일반화는 메모리만으로는 얻어지지 않는다는 답이 나왔다.
• 챗봇 질의의 상당수가 실용적 조언·정보 검색·글쓰기여서 최고 성능 모델이 필요 없다는 관찰은, 로컬과 클라우드를 오가며 복잡도에 따라 요청을 나누는 하이브리드 서빙 엔진이라는 연구 방향으로 이어진다.

자주 묻는 질문

관련 AI 소식