생물학 AI 에이전트 벤치마크: 공간 생물학 데이터로 만드는 검증 가능한 평가 환경

핵심 메시지

• 단일세포 실험은 한 번에 2~6테라바이트, 공간 생물학은 최대 7테라바이트를 쏟아내 연구자 한 명이 눈으로 훑을 수 있는 범위를 넘어섰다.
• 코드가 소프트웨어 과제를 채점 가능하게 만들었듯, 실험 데이터 분석이 생물학에서 같은 역할을 하는 '검증 가능한 기반'이 될 수 있다는 것이 이 접근의 출발점이다.
• 좋은 생물학 평가 문제는 함수로 정답을 확인할 수 있어야 하고, 분석 경로가 달라도 답이 흔들리지 않아야 하며, 암기가 아니라 데이터와의 상호작용을 요구해야 한다.
• 사람이 서로의 풀이를 채점해 보는 검증 단계에서, 문제 자체가 모호하게 쓰였다는 사실이 드러나는 경우가 많았다.
• 종양에서 전이가 시작된 지점을 찾는 것 같은 장기 과제 평가에서는 아직 어떤 모델도 정답을 맞히지 못했다.

쉽게 이해하기

발표는 생물학 데이터가 폭증하는 그래프에서 시작한다. 세포를 분리해 RNA를 측정하는 단일세포 실험, 조직 위에서 RNA가 어떻게 분포하는지 위치까지 함께 읽는 공간 생물학, 단백질을 측정하는 프로테오믹스가 그 증가를 이끈다. 실험 한 번의 산출물이 노트북 한 대에 안전하게 담기 어려울 정도이고, 측정 기술의 발전 속도를 보면 이 처리량은 더 빠르게 커질 전망이다.

발표자는 현대 생물학 논문이 대체로 같은 구조를 따른다고 정리한다. 생물학적 모델을 고르고, 데이터를 만들고, 처리하고, 기존 문헌에 비추어 해석한 뒤 주장을 내놓는 흐름이다. 잡음의 바다에서 신호를 걸러 내는 이 과정 전체가 코드와 데이터 분석이라는 실행 가능한 기반 위에 올라가 있다는 점이 핵심이다. 코드가 본래 채점하기 어려운 소프트웨어 과제를 검증 가능하게 만들었듯, 데이터 분석이 생물학에서 같은 역할을 할 수 있다는 주장이다.

라치바이오는 원래 대용량 실험 데이터를 저장하고 변환해 주는 도구 회사로 출발했다가, 실험 키트를 만드는 쪽과 일하며 소프트웨어를 공급하는 방향으로 옮겨 갔다. 지난해 여름부터는 코딩 모델을 그대로 가져다 만든 에이전트 시제품이 어설프게나마 작동하기 시작했다. 종양 조직의 공간 측정 데이터를 놓고 악성 부위와 그렇지 않은 부위에서 어떤 유전자가 더 발현되는지 묻는 식의 대화형 분석이 가능해진 것이다. 다만 발표자는 지금도 최전선 모델을 실제 연구에 그대로 맡길 수는 없다고 못 박았다. 생물학 지식과 코드 작성 사이에 놓인, 실제 데이터에서 과학적 통찰을 끌어내는 능력이 비어 있기 때문이다.

그래서 만든 것이 공간 생물학 분석을 다루는 벤치마크다. 지난해 12월 기준 146개 문제로 시작했고, 소프트웨어 공학 벤치마크의 아이디어를 상당 부분 빌려 왔다. 최종 결론만 채점하면 모델이 대부분 틀려 신호가 너무 성기기 때문에, 분석 과정을 잘게 쪼개 연구자가 판단을 시작하기 직전 상태까지 데이터를 끌고 오는 작업을 채점 단위로 삼았다. 하나의 평가 문항은 데이터, 과학적 목표를 서술한 과제 지시문, 채점 설정, 그리고 결정론적인 채점 코드로 구성된다.

이후에는 사람 검증과 장기 과제로 범위를 넓혔다. 여러 차례 모델 출시를 거치며 트래젝터리를 지켜본 결과 초기 가정 상당수가 부실했고, 명확한 정답이 없는 과학에서는 연구자들이 서로의 결과를 채점하는 방식이 가장 나은 대리 지표였다. 장기 과제 쪽에서는 논문의 결과 절 전체나 신약 과제의 진행 여부 판단에 해당하는 문제를 만들었는데, 문제 세 개를 만드는 데 세 사람이 일주일을 썼다. 최근에는 바이오 보안 영역으로도 넓혀, 겉보기에는 평범하지만 실제로는 위험한 요청을 섞은 레드팀 과제를 함께 평가하고 있다.

주요 인사이트

• 평가 문제를 만드는 일 자체가 연구 방법론을 정련한다. 기계에게 판단 기준을 가르치려면 연구자가 평소 관행처럼 쓰던 임의의 수치 기준을 다시 따져야 하고, 그 과정에서 더 튼튼한 구조가 드러난다.
• 과학에는 유일한 정답이 없다는 점이 평가 설계의 최대 난점이다. 정답을 허술하게 정해 두면 타당한 다른 분석 경로를 밟은 답을 오답으로 처리하게 되므로, 경로가 달라도 흔들리지 않는 지점을 골라야 한다.
• '적절한 반경을 써서 주변 세포를 찾으라' 같은 지시문은 사람에게는 자연스럽지만 기계에게는 선택지가 열린 모호한 문제다. 유전자 목록을 어떻게 나눌지, 데이터를 어떻게 정규화할지 같은 빈칸이 사람 검증 단계에서야 드러났다.
• 장기 과제에서는 최종 성공 여부만으로는 정보가 너무 적어, 분석 경로가 갈라지는 지점 가운데 어떤 경로를 택하든 지나야 하는 길목을 골라 루브릭으로 삼는 시도가 진행 중이다. 다만 이 점수는 최종 성과와 느슨하게만 맞아떨어져 아직 학습 신호로 쓰기에는 이르다는 평가다.
• 벤치마크를 공개하자 최전선 연구소들이 자발적으로 채택해 모델 카드에 인용하기 시작했다. 모델이 좋아지면 자사 제품도 좋아지는 구조라 경쟁을 유도하는 것이 곧 사업이 된다는 점이 흥미롭다.

자주 묻는 질문

관련 AI 소식