허깅페이스 오토리서치 실습 — 오픈소스 모델과 오픈코드로 만든 멀티 에이전트 자동 실험실

핵심 메시지

• 안드레이 카르파티의 오토리서치는 코드 에이전트가 nanoGPT 학습 스크립트를 조금씩 고쳐 학습 효율을 끌어올리는 프로젝트로, 약 600여 회 실험 끝에 지표가 최저점에 도달했다.
• 발표자는 '에이전트 하나가 모든 일을 다 한다'는 점에 주목해, 역할을 연구자·기획자·작업자·보고자로 나누면 각 작업이 쉬워져 오픈소스 모델로도 가능할 것이라 봤다.
• 전체 구성은 오픈소스 코드 하네스인 오픈코드 위에서 돌아가며, 서브에이전트는 레포 안의 지시문 파일로 정의되고 agents 파일에서 매핑된다.
• 실행해 보니 오픈소스 모델은 장시간 작업을 스스로 이어가지 못하고 중간에 멈추는 경향이 있어, 멈추지 말라는 프롬프트로 밀어줘야 했다.
• 리뷰어 에이전트는 학습률을 낮춘 실험은 성공으로, 효율이 떨어진 스케줄러 실험은 무시 대상으로 분류하며 실제로 리뷰어답게 작동했다.

쉽게 이해하기

출발점은 안드레이 카르파티의 오토리서치 프로젝트다. 가장 단순한 형태의 LLM인 nanoGPT를 놓고 코드 에이전트가 학습 스크립트를 조금씩 손보게 하면, 학습 효율을 높이는 최적화가 누적된다. 약 600여 회 실험을 거치자 바이트당 비트 수 지표가 실험 구간의 최저점까지 내려갔다. 카르파티는 여기에 클로드 코드와 오퍼스 4.6을 썼다.

발표자가 흥미롭게 본 지점은 결과가 아니라 구조였다. 하나의 에이전트가 논문 조사부터 실험 설계, 실행, 결과 정리까지 전부 떠맡고 있었기 때문이다. 역할을 쪼개면 각 에이전트가 맡는 일이 그만큼 단순해지고, 그렇다면 굳이 최상위 상용 모델이 아니라 오픈소스 모델로도 돌릴 수 있지 않겠느냐는 가설이다.

그래서 정의한 역할은 넷이다. 연구자 에이전트는 허깅페이스 논문에서 개선 아이디어를 찾아 가설을 제안하고, 기획자 에이전트는 학습률 조정이나 옵티마이저 교체 같은 실험을 큐로 관리한다. 여러 작업자 에이전트가 그 가설을 집어 학습 스크립트를 새로 쓰거나 패치해 실행하고, 마지막으로 보고자 에이전트가 결과를 모아 되돌려 준다.

레포 구조는 단출하다. 원본 학습 스크립트, 결과를 쌓아 두는 기록 파일들, 그리고 오픈코드 형식으로 각 서브에이전트를 정의한 지시문 모음이 전부다. 파이썬 환경을 만들고 허깅페이스 허브와 오픈코드에 각각 로그인한 뒤 모델 제공자로 허깅페이스를 고르면, 레포를 여는 순간 이 구성이 그대로 잡힌다. 실행 프롬프트에는 잡을 한 번에 다섯 개씩 띄우라는 지시와, 성공한 실험 한 바퀴가 끝날 때까지 멈추지 말라는 지시가 들어간다. 잡들이 매번 자료를 올리고 내리지 않도록 허브의 버킷 하나를 공유 캐시로 쓰게 한 것도 실무적인 장치다.

실행 기록을 따라가면 기획자 에이전트가 '한 번에 하나만 바꾸는 실험을 최대 두 개까지 제안하라'는 프롬프트대로 실험을 정의하고, 리뷰어 에이전트가 성공·실패한 실험 목록을 받아 판정한다. 학습률을 낮춘 실험은 개선으로 인정하고, 학습 효율을 떨어뜨린 스케줄러 실험들은 무시 대상으로 분류한 뒤 다음 우선순위를 정해 기획자에게 넘긴다. 동시에 수많은 에이전트가 돌기 때문에 지표는 별도의 오픈소스 추적 도구로 본다. 동시 실행 잡 수가 한때 여덟 개까지 올라간 것, 이상 징후 발생 건수, 그리고 원본 대비 개선폭이 최저점을 찍은 뒤 더 나아가지 못하고 정체된 흐름까지 한눈에 드러난다.

주요 인사이트

• 같은 문제를 푸는 데도 '더 좋은 모델'이 아니라 '더 잘게 나눈 역할'로 접근하면 오픈소스 모델의 체급으로 내려올 수 있다는 실증 시도다.
• 오픈소스 모델의 약점이 지식이 아니라 지구력, 즉 긴 작업을 스스로 이어 가는 능력으로 드러난 점이 눈에 띈다. 이는 프롬프트와 하네스 설계로 상당 부분 보완할 수 있다.
• 에이전트가 수십 개의 잡을 동시에 돌리기 시작하면 사람은 개별 트레이스를 따라갈 수 없다. 지표 추적과 이상 감지가 선택이 아니라 필수 인프라가 되는 이유다.
• 개선폭이 최저점 부근에서 정체되는 구간이 그래프에 그대로 남는다는 점은, 자동 실험 루프에도 수확 체감이 존재하며 언제 멈출지를 정하는 기준이 필요함을 보여준다.
• 서브에이전트를 코드가 아니라 레포 안의 지시문 파일로 정의하는 방식은, 실험 구성을 그대로 공유하고 재현할 수 있게 만든다.

자주 묻는 질문

관련 AI 소식