모건스탠리 알파랩: 퀀트 리서치를 자동화한 AI 에이전트 하네스의 설계와 실패에서 얻은 교훈

핵심 메시지

• 모건스탠리 AI 연구팀은 퀀트 리서치를 자동화하는 에이전트 하네스 '알파랩'을 만들어 코드와 기술 보고서를 공개했다.
• 알파랩은 리서치, 평가 구축, 대량 실험의 세 단계로 동작한다.
• 기성 에이전트 프레임워크를 쓰지 않고 직접 구현해 모델 제공자에 종속되지 않도록 설계했다.
• 실패를 겪으며 얻은 결론은 '좋은 평가부터 시작하라'는 원칙이었다.
• 자동 리서치 자체는 결국 흔한 상품이 되고, 기업의 가치는 환경을 만드는 데서 나온다는 전망을 제시했다.

쉽게 이해하기

모건스탠리의 AI 연구 그룹은 약 30명의 박사급 연구자로 구성돼 있고, 논문 발표와 코드 공개 같은 학술적 활동과 사내 응용 업무를 절반씩 병행한다. 이 팀이 다루는 문제 상당수는 형태가 비교적 잘 정의돼 있다. 시계열 데이터를 입력받아 미래 값을 예측하되 모델이 잘 보정돼 있어야 한다는 식으로, 데이터 경진대회와 닮은 구조다.

자동화를 시도한 배경에는 몇 가지 현실적 동기가 있다. 이미 운영 중인 알고리즘에 사이클을 더 넣으면 하이퍼파라미터 조정이나 앙상블에서 개선의 여지가 남아 있다는 감각, 회사채용으로 만든 모델을 지방채로 옮기는 식의 이전 작업이 자동화 가능하다는 판단, 그리고 머신러닝을 거의 쓰지 않는 데스크에는 적당히 학습된 모델만으로도 큰 영향을 줄 수 있다는 점이다.

발표자는 2025년 12월 무렵부터 이 자동화가 처음으로 실현 가능해 보였다고 말한다. 모델이 장기 과제를 수행할 수준에 도달했고, 그 모델을 감싸는 하네스라는 개념이 함께 자리 잡은 시점이었다. 설계 목표는 사내 백테스팅·평가 체계와 잘 맞물릴 것, 데이터만 던져주는 경우부터 이미 좋은 모델을 계속 개선하는 경우까지 넓은 스펙트럼을 감당할 것, 특정 모델에 종속되지 않을 것, 그리고 모델이 좋아질수록 함께 이득을 볼 것이었다.

알파랩은 데이터 경로와 예측 대상에 대한 자연어 설명만 받아 세 단계로 움직인다. 첫 단계는 리서치다. 실험을 시작할 수 있을 만큼의 맥락을 스스로 쌓는 과정으로, 먼저 할 일 목록을 만들게 하고 항목마다 마크다운 파일에 메모를 남기게 한다. 이 구조 덕분에 조기 종료를 시도하면 다시 유도할 수 있고, 이후 에이전트들이 필요한 부분만 조회해 컨텍스트를 조절할 수 있다. 이 단계에 보통 서너 시간이 걸린다.

두 번째 단계는 평가 체계를 직접 만드는 일이다. 평가가 잘못되면 그 위의 모든 최적화가 무너지기 때문에, 평가 코드를 작성하는 에이전트와 두 종류의 비평 에이전트를 둔다. 하나는 개념적 오류나 정보 누수를 살피는 고수준 비평가이고, 다른 하나는 단위 테스트와 통합 테스트를 작성하는 프로그램 관점의 비평가다. 지적 사항은 작성자에게 돌아가고, 모두가 만족할 때까지 이 루프는 끝나지 않는다.

주요 인사이트

• 세 번째 단계인 대량 실험은 칸반 보드 형태로 구현됐다. 전략가 에이전트가 앞 단계의 맥락을 조회해 시도할 실험을 계속 카드로 제출하고, 작업자 에이전트들이 코드 작성과 클러스터 작업 제출, 학습 곡선 및 평가 결과 분석을 맡는다. 각 작업이 끝나면 사후 분석이 전략가에게 돌아가, 어떤 계열이 통했고 어떤 계열이 아니었는지를 반영해 탐색 방향을 스스로 바꾼다.
• 칸반 형태를 고른 이유 중 하나는 사람이 개입할 지점을 만들기 위해서다. 사용자는 카드를 취소하거나 직접 추가할 수 있고, 전략가와 대화하며 더 창의적인 방향이나 특정 기법에 대한 직관을 넣어줄 수 있다. 결과는 공개 평가와 비공개 검증셋 기준의 리더보드로 계속 누적된다.
• 하네스를 기성 프레임워크 없이 직접 짠 것도 의도적 선택이다. 최대한의 자유도를 확보하기 위해서이며, 도구 호출을 함수 호출 방식으로 처리해 특정 제공자에 묶이지 않게 했다. 주요 도구는 셸 전체 접근, 웹 검색, 그리고 GPU 클러스터에 작업을 제출하는 추상화 세 가지다. 웹 검색은 논문 저장소나 기술 블로그를 읽고 공개 영역의 최신 기법을 파악하는 데 가장 많이 쓰인다.
• 성과와 실패가 함께 나왔다. 학술 데이터셋과 CUDA 커널, 언어모델 학습 속도 개선 과제에서 단일 에이전트 방식보다 나은 설정을 찾았고, 외부 경진대회에서는 상위 12%에 들었다. 사내에서는 이미 괜찮은 모델을 넘겨 계속 돌린 결과 의미 있는 개선을 찾아 리스크 검토를 거쳐 운영에 들어가는 사례들이 나왔다. 동시에 어려운 문제에서는 크게 실패한 경우도 있었다.
• 실패가 남긴 교훈은 단순했다. 좋은 평가에서 시작해야 한다는 것이다. 팀은 에이전트를 사람 연구자처럼 대하려는 과욕이 있었다고 인정하고, 이제는 평가에 대해 훨씬 완고한 입장을 취한다. 데이터와 설명이 들어가고 하네스는 가운데 있으며, 하네스의 유일한 임무는 컨테이너화된 모델을 제출하는 것이다.
• 가장 흥미로운 전환은 설계 결정 자체를 자동화 대상으로 본다는 점이다. 전략가를 둘로 늘려 토론시키는 게 나은지 같은 질문도 측정 수단만 있으면 사람이 직접 조정할 수 있지만, 팀은 한발 더 나아가 모델이 실행 기록과 결과를 보고 하네스 자체를 개선하는 메타 최적화를 진행 중이다.

자주 묻는 질문

관련 AI 소식