AI 에이전트 생물학 데이터 분석 벤치마크: 공간 전사체 146문항으로 본 프런티어 모델의 한계

핵심 메시지

• 소프트웨어 엔지니어링 벤치마크에서 좋은 점수를 내는 프런티어 모델도, 실제 실험에서 나온 지저분한 공간 생물학 데이터에서 의미 있는 결론을 뽑는 일에는 아직 크게 못 미친다.
• 연구팀은 실제 분석 워크플로를 잘게 쪼개 파이썬 함수로 채점 가능한 146개 문제를 만들었고, 다섯 가지 측정 기술과 일곱 가지 작업 유형을 포괄했다.
• 좋은 벤치마크의 조건은 자동 검증 가능성, 서로 다른 타당한 분석 경로를 모두 통과시키는 내구성, 그리고 데이터를 실제로 만져 봐야만 풀리도록 하는 장치다.
• 모델이 가장 많이 틀린 구간은 놀랍게도 가장 기초적인 품질 관리였고, 원인은 추론 능력이 아니라 장비별 필터링 기준값을 모른다는 단순한 지식 공백이었다.
• 실패의 원인이 대부분 이해 가능하고 고칠 수 있는 형태라는 점에서, 발표자는 이 문제를 막연한 공상이 아니라 '해볼 만한 엔지니어링'으로 규정한다.

쉽게 이해하기

버클리 머신러닝 학생 모임이 연 생물학·AI 세미나에서, 생물 데이터 분석 인프라를 만드는 회사의 공동창업자 케니 워크먼이 자신들이 만든 벤치마크를 소개했다. 출발점은 생물학 데이터 생산량이 지수적으로 늘고 있다는 사실이다. 단일세포 실험 한 번이 수 테라바이트, 이미지 기반 공간 측정 한 번이 7테라바이트 규모의 데이터를 쏟아내는 상황에서, 분석이 병목이 되었다는 것이다.

발표자는 지난해부터 에이전트 시제품이 실제로 뭔가를 해내기 시작했다고 말한다. 그러나 진짜 시험대는 '실무를 대신할 수 있는가'이고, 아직은 그 문턱을 넘지 못했다는 것이 그의 진단이다. 문제의 핵심은 생물 데이터 분석이 소프트웨어 엔지니어링과 다르다는 데 있다. 코드를 짤 줄 아는 것과 이 조직에서 이 세포 유형이 무엇을 의미하는지 아는 것 사이에 큰 간극이 있고, 그 간극을 그는 '도메인 추론'이라 부른다.

그래서 만든 것이 공간 전사체 데이터를 대상으로 한 146문항짜리 벤치마크다. 최종 결과만 채점하면 신호가 너무 성기다는 판단에서, 실제 분석 워크플로를 품질 관리·정규화·차원 축소·군집화·세포 유형 판별 같은 단계로 쪼개고 각 단계를 검증 가능한 문제로 만들었다. 문제를 만드는 과정에는 조직 시료를 다루는 실험 연구자와 컴퓨터를 다루는 분석 연구자가 함께 참여했다.

좋은 문제의 조건을 정리한 대목이 특히 실무적이다. 첫째는 파이썬 함수로 정답 여부를 자동 판정할 수 있어야 한다는 것이고, 둘째는 서로 다른 사람이 같은 데이터를 분석해도 타당한 결론이 여러 개 나올 수 있다는 현실을 견뎌야 한다는 것이다. 예컨대 군집 결과를 좌표상의 배치로 채점하면, 과학적으로 똑같이 타당한 다른 배치가 오답 처리된다. 그래서 배치 대신 특정 영역에서 어떤 표지 유전자가 나왔는지를 집합의 겹침 정도로 채점하고, 허용 범위를 넉넉히 잡되 무의미해지지 않게 조정한다.

결과를 보면 모델 사이에 뚜렷한 정확도·비용 곡선이 나타난다. 정확도에서 앞선 모델은 비용도 높아, 목적에 따라 선택이 갈릴 수 있는 구도다. 더 흥미로운 것은 작업 유형별로 쪼갰을 때다. 가장 낮은 점수가 나온 구간은 고난도 추론이 필요한 곳이 아니라 데이터 품질 관리였고, 이유는 장비 종류마다 다른 필터링 기준 숫자를 모델이 모른다는 것이었다. 그 숫자를 알려 주는 것만으로 점수가 크게 뛰었다.

주요 인사이트

• 인터넷에 문서가 많이 쌓인 측정 장비일수록 모델 성적이 좋았다. 벤치마크가 모델의 지능뿐 아니라 학습 데이터에 무엇이 얼마나 실려 있었는지를 함께 비추고 있다는 뜻이다.
• 점수 차이의 상당 부분은 과학 실력이 아니라 형식 준수 능력에서 왔다. 어떤 모델은 지시한 출력 형식을 지키지 못해 정확도가 깎였는데, 발표자는 이런 요인이 결과에 섞여 있다는 점을 숨기지 않고 함께 보고한다.
• 에이전트를 감싸는 하네스도 성능을 바꾼다. 다만 그 차이는 대부분 도구와 프롬프트, 장비별 문서에서 오며, 발표자는 이런 부분이 모델 성능이 올라가면서 상당 부분 흡수될 것으로 본다. 반면 수백 대의 컴퓨터를 돌려야 하는 물리적 자원 문제는 남는다.
• 규모 자체가 이 작업의 난이도를 보여 준다. 약 1만 4천 회의 에이전트 실행과 페타바이트 단위 저장, 수십만 시간의 연산이 들어갔고, 폭주하는 실행을 언제 끊을지 정하는 타임아웃 설계 같은 지루한 문제가 결과 품질을 좌우했다.
• 평가 결과의 불확실성을 계산할 때 모든 문항이 같은 성공률을 가진다고 가정하는 흔한 실수를 발표자는 강하게 비판한다. 문항마다 난이도가 다르다는 전제로 오차를 구해야 비교가 의미를 갖는다는 지적이다.

자주 묻는 질문

관련 AI 소식