AI 과학자 시대의 현주소: 연구실 전체를 에이전트로 전환한 MIT 울프 강연 정리

핵심 메시지

• 발표자는 학부생이 만든 에이전트에 자극받아 연구실 인력의 80%를 과학용 AI 에이전트 개발로 돌렸고, 1년 반 동안 약 60인년의 작업이 투입됐다.
• 현재 수준은 '조수'와 '과학자' 사이의 박사급 협업자로, 복잡하지만 정형화된 계산 과제를 스무 번에 한 번 정도의 사람 개입으로 수행한다.
• 과학자가 2주 걸리던 계산 과제를 25달러와 18시간, 약 200번의 상호작용으로 끝낸 사례가 자동화의 경제성을 보여준다.
• 안전을 이유로 에이전트를 실제 로봇에 연결하지 않고 있으며, AI가 제어하던 영국의 한 실험실이 폭발한 사례를 근거로 든다.
• 도구를 스스로 만들게 하는 방식, 타입이 엄격한 계획 그래프 방식, 사람이 손으로 짜는 방식 세 갈래가 공존하며 정확도는 비슷하다.

쉽게 이해하기

강연자는 토론토대에서 AI 기반 소재 발견을 목표로 하는 액셀러레이션 컨소시엄을 이끈다. 캐나다 대학에 주어진 역대 최대 규모의 연구비를 받았지만 장비 구매에 상한이 걸려 있어, 값싼 부품으로 자동화 실험 로봇을 직접 만들어 왔다. 그럼에도 이날 이야기의 중심은 로봇이 아니라 소프트웨어였다. 워털루대 출신 학부생이 로봇을 제어하는 에이전트를 만들어 온 것을 계기로, 연구실 전체가 '과학을 위한 에이전트'로 방향을 틀었기 때문이다.

다만 그 에이전트를 실제 장비에 연결하지는 않았다. 발표자는 AI가 제어하던 영국의 한 실험실이 잘못된 실험 설정 탓에 폭발한 사례를 들며, 물리 세계와의 연결은 의도적으로 늦추고 가상 세계의 작업부터 맡기고 있다고 밝혔다. 대신 위험 물질이 생성되는 경로를 사전에 걸러내는 화학 안전 전용 에이전트를 따로 개발하는 식으로 대비한다. 동기는 분명하다. 계산화학은 배우는 데 박사 과정 하나가 필요할 만큼 진입 장벽이 높은데, 에이전트가 그 장벽을 대신 넘어 준다면 모든 화학자가 계산화학을 쓸 수 있게 된다는 것이다.

성능의 감각을 보여 주는 사례가 있다. 과학자가 파일을 고치고 클러스터에 제출하고 결과를 표로 정리하는 데 2주가 걸리던 계산 과제를 에이전트는 25달러의 클라우드 비용과 18시간, 약 200번의 상호작용으로 끝냈다. 사람 인건비로 환산하면 1만 5천 달러짜리 일이다. 두 번째 버전의 양자화학 에이전트는 매뉴얼과 논문, 심지어 커뮤니티 게시물까지 분야별 전문가 에이전트에게 읽히는 방식으로 만들어져 특정 양자화학 패키지의 기능을 거의 전부 다루며, 60개 에이전트가 약 200번의 상호작용과 20시간을 들여 박사급 문제를 푼다. 발표자는 어떤 학생이 풀지 못해 학위를 포기했던 문제를 이 에이전트가 한 번에 풀었다고 전했다.

설계의 핵심은 맥락 관리다. 언어 모델은 정보가 많아질수록 헷갈리기 때문에, 연구실은 학과장이 위원장에게, 위원장이 대학원생에게 일을 넘기는 조직처럼 관리자와 하위 에이전트를 계층으로 두고 각 단계가 딱 필요한 만큼만 정보를 받도록 했다. 여기에 이전 작업을 기억하는 일화 기억과 자기 역할·호출 가능한 도구를 아는 의미 기억이 더해진다. 분자 구조를 다루는 에이전트에서는 시각 언어 모델을 활용해, 원자에 번호를 붙이고 여러 각도로 렌더링한 그림을 보여 주는 방식으로 3차원 구조 처리의 고질적 실패를 줄였다.

연구실 안에는 세 가지 철학이 공존한다. 인터넷에서 필요한 도구를 찾아 내려받고 파이썬 코드로 감싸 스스로 도구를 늘리는 방식, 타입이 엄격한 계획 그래프를 먼저 만들어 실행하는 방식, 그리고 사람이 하위 에이전트를 손으로 설계하는 방식이다. 특히 계획 그래프 방식은 맥락 대신 파이썬 객체를 주고받아 25달러짜리 계산을 몇 센트로 낮췄다. 발표자는 세 방식 모두 대략 95% 수준의 정확도로 비슷하다며, 대학원생들이 어느 쪽이 낫냐를 두고 열정적으로 다투는 것을 즐긴다고 말한다. 발표자 자신은 도구 수가 늘면 도구끼리의 상호작용 때문에 에이전트의 능력이 대략 제곱으로 커진다는 가설을 내놓기도 했다.

주요 인사이트

• 에이전트의 실력을 말하려면 벤치마크가 필요하다. 이 연구실은 논문마다 5천~1만 달러어치의 크레딧을 들여 같은 과제를 여러 번 돌리고 세부 항목별로 채점하는데, 발표자는 채점 기준을 보지 않은 95%라는 숫자는 큰 의미가 없다고 못 박는다.
• 95%라는 수치의 실체는 '스무 번에 한 번은 사람이 끼어들어야 한다'는 뜻이다. 열 개를 요구했는데 아홉 개만 주는 식의 누락이 대부분이라, 결과를 검증할 전문가가 여전히 필요하다.
• 비용 구조가 설계를 바꾼다. 맥락을 통째로 주고받는 방식은 유연하지만 비싸고, 타입을 정해 객체를 넘기는 방식은 값싸지만 정형화된 작업에 적합하다. 어떤 문제를 푸느냐에 따라 선택이 갈린다.
• 발표자는 우리가 이미 지도 앱과 메신저에 의존하는 사이보그이며, 언젠가 이 기계들이 사람에게서 분리된 존재가 될 것이라고 본다. 다만 지금은 사람과 함께 일하는 단계라고 선을 긋는다.
• 일자리에 대한 질문에 그는 도구를 아는 사람은 괜찮을 것이라면서도, 블랙박스로 쓰는 순간 위험해진다고 답한다. 자신이 모르는 분야의 계산은 매개변수가 옳은지조차 판단할 수 없다는 것이 이유다.

자주 묻는 질문

관련 AI 소식