AI 과학자 실험, 퓨처하우스가 논문 검색 에이전트로 유전자 문서를 자동 생성한 방법

핵심 메시지

• 생물학의 병목은 이제 데이터가 아니라 그 데이터를 해석할 인간의 처리 능력이다. 데이터셋 하나를 공개하면서 논문 10~15편을 동시에 내는 상황이 이를 보여 준다.
• 퓨처하우스가 겨냥하는 문제는 '모든 X에 대해 Y를 하라' 형태다. 사람이 하나씩은 할 수 있지만 전체를 다 하기는 불가능한 종류의 일이다.
• 논문 검색 에이전트는 근거가 부족하면 스스로 다시 검색하는 구조이며, 모델 학습 시점 이후의 논문으로 만든 자체 벤치마크에서 인간과 같은 정확도를 기록했다.
• 위키백과에 문서가 없던 유전자 1만 5천여 개의 문서를 이틀 만에 생성했고, 87만 편의 논문을 근거로 삼았다.
• 발표자가 반복해서 강조한 결론은 '문제의 90%는 성능을 측정할 수 있느냐'다. 가설 생성 같은 과제가 더디게 진전되는 이유도 평가 방법이 없기 때문이다.

쉽게 이해하기

이 영상은 UC버클리 머신러닝 학생 단체가 연 생물학·머신러닝 세미나의 첫 회차로, 비영리 연구소 퓨처하우스(Future House)의 샘 로드리케스가 'AI 과학자'를 만드는 시도를 소개한다. 퓨처하우스는 에릭 슈밋 등의 자선 기금으로 운영되는 비영리 연구 조직이며, 샌프란시스코에 AI 엔지니어와 실험실 생물학자를 한 공간에 두고 있다.

발표는 문제 설정에서 출발한다. 발표자는 2013년 무렵 생물학에 들어왔을 때는 데이터가 절대적으로 부족했지만, 대규모 병렬 염기 합성과 단일세포 시퀀싱 같은 도구가 등장하면서 상황이 뒤집혔다고 말한다. 이제는 대형 컨소시엄이 데이터셋을 공개하면서 사이언스 15편, 네이처 10편을 한꺼번에 내놓는 지경이 됐고, 그 데이터에 남은 통찰을 끄집어낼 사람의 시간이 병목이 됐다는 것이다.

퓨처하우스가 노리는 과제는 '인간 프로테옴 전체의 단백질 상호작용 지도를 만들라' 같은 형태다. 단백질 하나에 대해서는 충분히 할 수 있지만 '전부에 대해'라는 조건이 붙는 순간 파급력과 난이도가 동시에 치솟는다. 그 첫 기술 결과물이 논문 질의응답 에이전트다. 질문을 받으면 관련 논문을 찾고, 논문을 조각으로 나눠 각 조각의 관련성을 판단하고, 모은 근거로 답을 쓴다. 핵심은 매 단계에서 '근거가 충분한가'를 스스로 판단해 부족하면 다시 검색한다는 점이다. 미국 의사면허시험 같은 기존 벤치마크는 오염과 난이도 문제로 변별력이 없었기 때문에, 연구팀은 모델 학습 시점 이후에 나온 논문에서만 답을 찾을 수 있는 50문항 객관식 벤치마크를 직접 만들었다. 무작위 정답률 25.7%, 사람 87.9%, 에이전트도 87.9%였다.

이 시스템을 실제 과제에 적용한 것이 유전자 백과사전 프로젝트다. 인간 유전자는 약 2만 개인데 위키백과 문서가 있는 것은 3,639개뿐이었다. 연구팀은 나머지 1만 5천여 개의 문서를 자동으로 작성했다. 이틀 동안 질의응답 에이전트를 10만 회 실행하고 30만 회를 검색해 87만 편의 논문을 인용했는데, 이는 보유한 8천만 편 코퍼스의 약 1%에 해당한다. 670개 유전자는 문헌 자체에 정보가 없어 끝내 실패했다.

평가 결과는 양면적이다. 문장 단위로 검증했을 때 사람이 쓴 위키백과는 16%가 출처 없이 서술된 반면 자동 생성 문서는 97%에 인용이 붙었다. 대신 정확도는 자동 생성 쪽이 약 10배 낮았다. 흥미로운 것은 오류의 성격이다. 없는 사실을 지어내는 환각이 아니라, 단백질의 N말단과 C말단을 뒤섞거나 이름이 비슷한 유전자를 혼동하는 식의 실수가 대부분이었다.

주요 인사이트

• 검색 증강 생성 구조는 환각을 강하게 억제한다. 200여 건의 평가에서 순수한 환각이 관측되지 않아 오히려 논문 심사자들이 믿지 않았다는 일화가 나온다.
• 자동 생성 문서의 오류는 '지어내기'가 아니라 '읽은 것을 헷갈리기'에 가깝다. 발표자는 이것이 고치기 훨씬 쉬운 종류의 문제라고 본다.
• 위키백과가 이 문서들을 받아들이지 않은 이유는 AI 생성물이어서가 아니라, 자원봉사로 운영되는 분자생물학 문서 담당이 두 명뿐이라 1만 5천 건을 검토할 수 없었기 때문이다. 그럼에도 쓸모는 분명하다. 유전체 실험은 이름조차 낯선 유전자 50~100개 목록으로 끝나는데, 그중 상당수는 검색해도 아무 설명이 나오지 않아 매번 원 논문을 뒤져야 했다.
• 발표자는 마인크래프트 같은 대리 과제로 훈련하면 과학 능력이 전이될 것이라는 주장에 회의적이다. 과학에서의 성능을 측정할 수 없다면 전이가 일어났는지조차 확인할 수 없기 때문이다. 그래서 이 연구소는 3~4일 만에 수십만 개 데이터를 얻는 초고처리량 실험 체계를 구축해 가설 생성 능력을 직접 검증하려 한다.
• 발표자는 AI가 과학자를 대체하지는 않겠지만, AI를 쓰는 과학자가 쓰지 않는 과학자를 대체할 것이라고 정리한다.

자주 묻는 질문

관련 AI 소식