스탠퍼드 CS329A 자기 개선 AI 에이전트 1강 정리: 스케일링 법칙에서 추론 스케일링과 에이전트 워크플로까지

핵심 메시지

• 스탠퍼드가 두 번째로 개설한 CS329A '자기 개선 AI 에이전트' 강의의 첫 시간으로, 대형 언어모델이 지금까지 어떤 축으로 좋아져 왔는지 정리한 뒤 왜 지금 에이전트가 수업 주제가 되었는지를 설명한다.
• 연산·데이터·파라미터를 키우면 성능이 좋아진다는 스케일링 법칙이 2018년부터 2024년까지 발전을 이끌었지만, 강의는 이 흐름이 최근 포화 조짐을 보이기 시작했다고 짚는다.
• 지난 1년 반 사이 열린 새 축은 파라미터를 전혀 건드리지 않는 '추론 시점 확장'으로, 같은 모델에 답을 여러 번 생성시키고 검증기로 골라내는 것만으로도 훨씬 어려운 문제를 풀 수 있다.
• 검증 가능한 영역에서 나온 좋은 결과를 다시 학습 데이터로 되먹이는 순환이 '자기 개선'의 핵심이며, 그래서 검증(verification)의 어려움이 이 분야 최대 병목이 된다.
• 챗봇과 에이전트를 가르는 기준은 목표를 받아 계획하고, 환경과 상호작용하고, 피드백으로 스스로 단계를 고치고, 언제 멈출지 판단하는 루프를 도느냐다.

쉽게 이해하기

스탠퍼드 온라인이 공개한 CS329A '자기 개선 AI 에이전트'의 1강은 두 강사가 함께 진행한다. 한 명은 대형 언어모델을 오래 다뤄 온 스탠퍼드 겸임교수이자 스타트업 리플렉션 AI에서 연구하는 아칸샤이고, 다른 한 명은 스탠퍼드 컴퓨터과학과 조교수 아잘리아 미르호세이니다. 두 사람은 구글 브레인 시절 만난 인연을 소개하며, 이번이 두 번째 개설이라 강의 내용과 진행 방식을 모두 손봤다고 밝힌다. 1강 전반부는 LLM 개관, 후반부는 과제와 프로젝트 등 수업 운영이다.

전반부는 스케일링 법칙 복습으로 시작한다. 연산량을 늘리면 테스트 손실이 내려가고, 데이터셋 크기를 늘려도, 트랜스포머의 층과 파라미터를 늘려도 같은 방향으로 움직인다는 세 개의 그래프다. 모델 규모는 BERT 3억 4천만 개에서 GPT-2 15억 개, GPT-3 1750억 개, PaLM 5400억 개를 거쳐 GPT-4는 조 단위로 추정되는 수준까지 커졌다. 커지면 벤치마크 성적만 좋아지는 게 아니라, 예시 몇 개만 보고 따라 하는 퓨샷 학습이나 사고의 연쇄 같은 창발적 능력이 특정 크기부터 갑자기 나타난다는 점이 중요하다고 설명한다.

다음은 ChatGPT를 그 이전 모델들과 갈라놓은 후처리 단계다. 사전학습으로 다음 토큰 예측을 배운 모델에 훨씬 높은 품질의 데이터로 파인튜닝을 하고, 질문과 답의 쌍으로 지시를 따르게 만드는 인스트럭션 튜닝을 거친 다음, 사람이 매긴 선호를 보상 모델로 만들어 그 방향으로 파라미터를 유도하는 강화학습을 얹는다. 강의는 이 세 단계가 GPT-3 계열과 ChatGPT의 결정적 차이였다고 정리하며, 2022년 11월 출시 후 5일 만에 사용자 100만 명에 도달한 속도를 함께 보여준다.

그런데 1년 반쯤 전부터는 학습이 아니라 추론이 새 개척지가 됐다. 미르호세이니 연구실의 '대형 언어 원숭이' 연구는 무한 원숭이 정리에서 이름을 따와, 같은 문제를 한 번이 아니라 최대 1만 번까지 반복해 생성시키고 단위 테스트 같은 검증기로 맞는 답을 골라내는 방식을 실험했다. 그 결과 한 번 호출에서는 GPT-4o보다 못하던 라마 8B급 작은 모델들이, 샘플 수를 늘리자 커버리지에서 GPT-4o를 넘어섰다. 어떤 문제는 1만 개 중 서너 개만 정답이었는데, 이는 모델이 한 번 물었을 때 내놓는 것보다 훨씬 많은 걸 이미 알고 있다는 뜻이라고 해석한다. 오픈AI가 o1에서 보여준, 테스트 시점 연산을 키울수록 정확도가 로그선형으로 오르는 그래프도 같은 맥락이다.

후반부의 핵심은 여기서 에이전트로 넘어가는 대목이다. 챗봇이나 추론 모델은 대화가 즐거울 뿐 일을 끝내주지는 않지만, Claude Code나 딥리서치 같은 에이전트는 목표를 받아 계획을 세우고 도구를 호출하며 피드백을 보고 스스로 경로를 고친다. 강의는 현실의 워크플로가 아직은 사람이 손으로 그린 그래프에 가깝다고 인정하면서, 프롬프트 체이닝·라우팅·병렬화·오케스트레이터 같은 구성 패턴과 LLM 판정자, 검증기를 하나씩 소개한다. 그러면서 생성은 쉽지만 그것이 쓸모 있는지 가려낼 피드백은 어렵다는 '생성기-검증기 격차'를 이 분야의 진짜 병목으로 지목한다.

주요 인사이트

• 반복 샘플링 실험의 함의는 단순한 성능 향상이 아니다. 작은 모델도 여러 번 시도하면 정답을 만들어내므로, 모델이 한 번의 응답에서 자기 능력의 일부만 내보이고 있다는 뜻이 된다.
• 자기 개선 루프가 잘 도는 영역과 그렇지 않은 영역이 갈린다. 수학이나 코드처럼 정답을 기계적으로 확인할 수 있으면 되먹임이 계속 돌지만, 창작 글쓰기처럼 피드백을 얻기 어려운 곳에서는 사람의 평가가 곧 병목이 된다.
• 모델은 더 좋은 모델이 만든 추론 흔적보다 자기가 만든 흔적을 더 선호하는 경향이 있다고 강사들은 말한다. 좋은 데이터를 밖에서 가져오는 것만이 답이 아니라는 이야기다.
• 다양성을 얻겠다고 온도를 무작정 올릴 수는 없다. 1.2 정도를 넘어서면 출력이 무너지기 때문에, 응답 다양성을 확보하는 다른 기법이 별도의 연구 주제가 되고 있다.
• 코딩 에이전트가 작년까지는 신뢰하기 어려웠는데 지금 쓸 만해진 이유로 강사들은 패러다임 변화가 아니라 더 강한 모델과 검증 가능한 보상 기반 강화학습의 성과를 꼽는다.

자주 묻는 질문

관련 AI 소식