AI 에이전트가 논문 쓰는 해커톤 현장: 오토 리서치와 리뷰 에이전트, 인지 부채 이야기

핵심 메시지

• 코딩 에이전트를 돌려놓고 겨루는 '랄프톤' 행사가 이번에는 오토 리서치를 주제로 열렸다. 참가자들은 에이전트를 이용해 논문을 쓰고 제출한다.
• 주최 측은 오픈리뷰를 본뜬 사이트를 따로 만들어, 리뷰 에이전트가 1차 리뷰를 달고 사람 심사위원이 상위 팀을 뽑아 포스터 세션을 진행하도록 설계했다.
• 15살 참가자는 '컨텍스트가 길어지면 모델 성능이 정말 떨어지는가'를 주제로 아이디어에서 실험·분석·집필까지 도는 에이전트 루프를 직접 만들었다.
• 한 교수 참가자는 에이전트가 일을 대신하는 사이 사람의 이해가 뒤처지는 '인지 부채'를 문제로 짚고, 하네스가 도는 동안 사용자에게 학습을 돕는 도구를 만들고 있다고 했다.
• 이전 대회 우승자는 에이전트에게 자율성을 더 주기보다 계약을 명확히 전달하고 검증하는 쪽이 실전에서 안정적이라고 말했다.

쉽게 이해하기

국제 머신러닝 학회 ICML이 서울에서 열리던 주간, 주변에서는 여러 사이드 이벤트가 함께 열렸다. 그중 하나가 코딩 에이전트를 오래 돌려놓고 그 결과로 겨루는 해커톤이다. 이번 회차의 주제는 '오토 리서치'였다. 코딩이라는 문제가 상당 부분 풀린 것처럼, 다음 단계의 모델들이 겨냥하는 문제는 연구라는 판단에서 나온 기획이다. 정해진 과제를 수행하는 에이전트와 달리, 연구는 새로운 것을 만들어 내야 한다는 점에서 성격이 다르다.

진행 방식 자체가 학회를 흉내 낸다. 참가자는 정해진 시간 안에 에이전트로 논문을 써서 제출하고, 오픈리뷰를 본뜬 별도 사이트에서 리뷰 에이전트가 먼저 리뷰를 단다. 그다음 사람 심사위원이 상위 10팀을 골라 포스터 세션을 열고, 직접 돌아다니며 구두 설명을 들은 뒤 최종 두 팀을 뽑는다. 리뷰 에이전트를 만드는 것 자체가 하나의 트랙으로 마련돼 있다는 점이 눈에 띈다.

이런 트랙이 생긴 배경에는 현실적인 문제의식이 있다. 좋은 연구를 가려내려고 리뷰를 하지만, 연구 하나하나를 이해하기가 어렵고 미래의 영향을 가늠하기는 더 어렵다. 게다가 AI 덕분에 논문이 쏟아지면서 사람이 감당할 수 있는 리뷰 양을 넘어섰다. 그래서 리뷰를 잘하는 에이전트를 만들어 리뷰어를 돕는 일이 어쩌면 더 중요할 수 있다는 이야기가 오간다. 평가를 잘 만들어야 연구도 잘된다는 논리다.

참가자 면면이 다양했다. 캐나다에서 한국을 방문 중이던 15살 학생은 행사 플랫폼을 훑어보다 신청했다고 했다. 그가 붙든 질문은 컨텍스트가 길어질수록 모델 성능이 떨어지는지, 떨어진다면 어디서부터인지였다. 중요한 사실을 앞에 두는 것과 중간이나 끝에 두는 것이 차이를 만드는지 확인하려고, 노트북에서 아주 작은 모델을 돌려 수백 번의 실험을 반복하는 방식을 택했다. 옆에서 지켜보던 참가자는 그 질문이 현장의 모두가 궁금해하지만 정확한 답을 모르는 주제라고 평했다.

교육을 전공한 교수 참가자는 다른 각도의 문제를 들고 왔다. 코딩 에이전트를 쓰면 결과물은 빨리 나오는데, 정작 자신은 그 내용을 이해하지 못한 채로 넘어가 나중에 디버깅도 어렵고 머릿속에 남는 것도 없다는 것이다. 그는 이를 '인지 부채'라 부르며, 계산기처럼 그냥 맡기면 된다는 시각과 최소한 통제권을 유지할 만큼은 이해해야 한다는 시각 사이에서 후자를 택했다. 그래서 하네스가 돌아가는 동안 남는 시간에 사용자에게 퀴즈를 내거나 학습 자료를 주는 도구를 만들고 있다고 했다.

주요 인사이트

• 연구 영역은 소프트웨어 개발에 비해 반복 주기가 느린 편이라, 에이전트가 들어왔을 때의 충격이 오히려 더 클 수 있다는 관점이 제시된다.
• 에이전트에게 자율성을 넓게 주면 더 창의적일 것 같지만, 평가 기준을 정의하기 어려운 작업에서는 오히려 결과가 산으로 간다. 자율성을 줄이고 하네스를 강하게 잡는 접근이 실전에서는 안정적이라는 경험담이 나온다.
• 목표를 크게 열어 두면 에이전트가 지름길을 찾아 원래 요구와 다른 방향으로 최적화하는 일이 생긴다. 우선순위를 지키게 하고, 개선 제안은 에이전트 바깥의 평가 하네스가 하도록 책임을 분리하는 방식이 대안으로 언급된다.
• 새로운 아이디어가 정말 무에서 나오는 경우는 드물다. 다른 분야에서 구조적으로 닮은 사례를 가져오는 것만으로도 문제 정의가 만들어지므로, 충분한 맥락을 담을 수 있다면 에이전트도 연구를 도울 여지가 있다는 주장이 나온다.
• 한 해커 하우스 팀은 사람 사이의 상호작용을 병목으로 보고, 각자 다른 프로젝트를 맡아 에이전트와 대화하며 진행하는 방식을 원칙으로 삼고 있다고 밝혔다.

자주 묻는 질문

관련 AI 소식