AI 벤치마크 한계와 대안 - 인간 전문가를 능가한 모델을 측정하는 두 가지 방법 (SecureBio)

핵심 메시지

• AI 벤치마크는 지금까지 인간 전문가가 정답지를 만들고 스스로 기준점 점수도 제공하는 방식으로 만들어져 왔다.
• 최근 모델들은 여러 생물학 벤치마크에서 인간 전문가 기준선을 이미 넘어섰고, 그래서 '전문가 이상'을 잴 자가 사라졌다.
• SecureBio는 인간 연구의 최전선에서 과제를 가져오고, 전문가 합의 대신 실제 실험 결과가 정답을 정하게 하는 두 가지 원칙으로 대응한다.
• ReproBAIT는 논문에 실린 생물학 AI 모델을 에이전트가 처음부터 재현하게 하는 과제이며, 코딩 에이전트가 4개 중 3개를 재현했다.
• Predictive BioBench는 아직 공개되지 않은 실험의 결과를 모델이 예측하게 해, 전문가 합의가 아닌 현실을 채점 기준으로 삼는다.

쉽게 이해하기

SecureBio에서 엔지니어링을 이끄는 사미라 네둥가디는 이 조직이 생물학 분야에서 최전선 AI의 능력을 측정하고, 그것이 생물학적 위험에 어떤 영향을 줄지 살핀다고 소개했다. 벤치마크는 모델이 현실에서 실제로 무엇을 할 수 있는지 가늠하는 표준 도구인데, SecureBio는 이를 생물학에 특화해 만들어 왔다.

이들이 2025년 공개한 '바이러스학 역량 테스트(Virology Capabilities Test)'는 실험실에서 매일 그 일을 하는 박사급 전문가들에게서 뽑아낸, 매우 구체적이고 실무적인 상황 문제들로 구성돼 있다. 최근에는 지식을 묻는 문답형을 넘어 DNA를 설계하거나 실험실의 액체 취급 로봇을 제어하는 등 모델이 '실제로 무엇을 할 수 있는지'를 보는 에이전트형 벤치마크로 옮겨가고 있다.

문제는 이 모든 벤치마크가 공통으로 인간 전문가에 기대고 있다는 점이다. 전문가가 정답지를 쓰고, 전문가가 직접 시험을 쳐서 비교 기준선을 만든다. 그런데 최근 공개된 모델들은 여러 생물학 벤치마크에서 그 전문가 기준선을 이미 웃돌고 있다. 발표자는 이 현상을 '벤치마크의 정답지는 전문가들의 합의를 담고 있고, 지금 모델은 그 합의를 어떤 개별 전문가보다 더 잘 맞힌다'고 해석했다.

여기서 딜레마가 생긴다. 이미 전문가를 넘어섰다면 앞으로의 능력 향상은 무엇으로 추적할 것인가. 아주 최첨단이거나 아주 좁은 주제로 가면 어려워지긴 하지만, 그런 영역에는 애초에 전문가 합의가 존재하지 않아 정답지 자체를 만들 수 없다.

SecureBio가 택한 답은 두 가지다. 하나는 과제를 인간 연구의 최전선에서 가져오는 것, 다른 하나는 정답을 전문가가 아니라 현실이 정하게 하는 것이다. 이 원칙을 구현한 것이 ReproBAIT와 Predictive BioBench라는 두 벤치마크다.

주요 인사이트

• 벤치마크의 난이도 상한은 결국 정답지를 쓴 사람의 수준이다. 모델이 그 선을 넘으면 점수는 더 이상 능력의 척도가 아니라 채점 기준의 한계를 보여줄 뿐이다.
• ReproBAIT는 알파폴드 같은 생물학 특화 AI 모델을 다룬 논문을 에이전트에게 주고, 방법론을 추출해 학습 파이프라인을 짜고 데이터를 찾아 모델을 만들어 원 논문의 성능을 재현하게 한다. 예비 결과에서 코딩 에이전트는 시험한 4개 모델 중 3개를 재현했고, 대개 12시간 이내에 수백 달러 수준의 비용으로 해냈다.
• 즉 ReproBAIT가 요구하는 과제의 난이도 자체는 전문가 수준이지만, 속도·자원·처리 범위에서는 이미 전문가를 넘어선 능력을 드러낸다는 점이 핵심이다.
• NIST와 공동 개발한 Predictive BioBench는 아직 발표되지 않았거나 비공개인, 즉 모델의 학습 데이터에 들어 있을 수 없는 실험의 방법론만 제시하고 결과를 예측하게 한다. 실험은 이미 수행돼 정답이 존재하므로, 전문가 합의가 아닌 실제 결과와 대조해 채점할 수 있다.
• 31개 과제로 진행된 초기 데이터에서 모델들은 예상 기준선을 상당히 웃도는 성적을 낸 과제가 다수였다. 발표자는 능력이 계속 오르는 만큼 '전문가 이상'까지 늘어나는 다양한 측정 도구 묶음이 필요하다고 정리했다.

자주 묻는 질문

관련 AI 소식