AI 사이버 공격 능력 측정: 시간 지평 연구로 본 모델 성장 속도와 오픈웨이트 격차

핵심 메시지

• 시간 지평은 '사람 전문가가 그 일을 하는 데 걸리는 시간'을 가로축에 두고 모델의 성공률을 재는 방식으로, 모델 능력을 시간 단위 하나로 표현한다.
• 사이버보안 영역에서 최전선 모델은 토큰 예산 200만 기준으로 약 5.1시간의 시간 지평을 기록했다.
• 능력의 두 배 증가 주기는 초기 약 9.3개월이었지만 추론 모델이 등장한 2024년 이후 크게 짧아졌고, 2026년 모델들은 그 가팔라진 추세선보다도 위에 있다.
• 토큰을 더 부을수록 성능이 계속 오른다. 한 모델을 작업당 1000만 토큰까지 늘리자 시간 지평이 약 10시간까지 올라갔다.
• 오픈웨이트 모델은 최전선 대비 대략 4~12개월 뒤처져 있다는 것이 여러 기관의 공통된 추정이다.

쉽게 이해하기

호주 AI 안전 포럼 2026에서 립터스 리서치(Lyptus Research)의 션 피터스가 자신들의 '공격적 사이버 시간 지평' 연구를 발표했다. 출발점은 2025년 3월 METR이 내놓아 널리 퍼진 그래프다. 이 그래프는 '사람이 그 작업을 하는 데 걸리는 시간'을 세로축에 두고, 모델이 그 길이의 작업을 50% 확률로 성공하는 지점을 찍는다. 예를 들어 GPT-4는 사람 소프트웨어 엔지니어 기준 약 6분짜리 작업을 절반의 확률로 해낸다. 연구팀은 이 방법론을 사이버보안 영역에 그대로 옮겨 재현했다.

방법은 네 단계다. 먼저 해당 영역을 대표하는 작업을 모으는데, 이때 소요 시간 축에 고르게 퍼지도록 쌓아야 한다. 아주 쉬운 질의응답형 문제부터, 실제 취약점을 바탕으로 만든 CVE-Bench, 메모리 안전성 익스플로잇을 다루는 사이버짐처럼 사람 기준 4~8시간이 걸리는 난제까지 2025년 12월 기준 구할 수 있는 가장 어려운 공개 벤치마크를 포함했다. 다음으로 각 작업에 사람이 걸릴 시간을 붙이는데, 실무 경력 중앙값 4년의 현직 보안 전문가 10명이 면접 심사를 거쳐 참여했다. 그다음 모델을 돌리고, 마지막으로 성공률 곡선을 맞춘다. 발표자는 이 대목에서 방법론의 흥미로운 점을 짚는다. 모델이 어려워하는 정도가 사람 전문가의 소요 시간과 이렇게까지 잘 들어맞을 과학적 이유는 딱히 없는데도, 실제 데이터에서 곡선이 아주 매끄럽게 나온다는 것이다. 그리고 왜 하필 50% 성공률에서 값을 읽느냐는 질문에는, 그 지점이 곡선이 가장 가파른 구간이라 데이터 변화가 가장 잘 드러나고 잡음에 덜 흔들리기 때문이라고 답한다. 95%나 99% 지점에서 읽으면 데이터의 작은 흔들림에 값이 크게 요동친다.

결과는 세 가지다. 첫째, 추세가 예상보다 가파르다. 낮은 토큰 예산에서도 능력이 빠르게 오르고 있으며, 두 배 증가 주기는 GPT-2까지 거슬러 계산하면 약 9.3개월이지만 추론 모델이 나온 2024년 이후로는 훨씬 짧아졌다. 2026년에 나온 모델들은 그 가팔라진 추세선보다도 위, 오차 막대의 가장자리에 걸쳐 있다. 영국 기관의 독립적인 측정도 비슷한 흐름을 보였다.

둘째, 추론 확장의 효과가 크다. 발표자는 '5.1시간'이라는 숫자만 전하는 것이 오히려 오해를 부를 수 있다고 말한다. 토큰을 더 부으면 그 값이 계속 올라가기 때문이다. 한 모델을 작업당 1000만 토큰까지 늘리자 시간 지평은 약 10시간까지 올라갔고, 다른 모델은 400만 토큰 시점에서 이미 준비한 데이터셋을 포화시켜 곡선을 맞출 수조차 없게 됐다. 영국 기관이 5000만 토큰 예산으로 같은 연구를 다시 돌린 결과에서는 두 배 증가 주기가 40~50일로, 낮은 예산에서의 70~90일보다 훨씬 짧게 나왔다. 발표자는 이 결과를 아직 해석하지 못했다고 솔직히 밝힌다.

다만 어떤 작업이 이렇게 잘 확장되는지는 조건이 붙는다. 연구에 쓰인 사이버 작업들은 범위가 한정돼 있고(컨테이너나 서버 몇 대), 성공 여부를 기계적으로 채점할 수 있으며, 방어가 걸려 있지 않다. 발표자는 여기서 실증이 아닌 개인적 직관임을 분명히 하며, 방어가 없는 표적이 특히 취약하고 대다수의 중소기업이 사실상 그 범주에 들어간다고 본다. 셋째, 가드레일 없이 배포되는 오픈웨이트 모델은 최전선 대비 대략 4~12개월 뒤처져 있다. 연구팀은 이 작업을 마치고 생물보안 평가로 방향을 옮겼다.

주요 인사이트

• '몇 점'이 아니라 '사람 몇 시간짜리 일'로 능력을 표현하는 방식은 비전문가에게도 위험의 크기를 직관적으로 전달한다는 점에서 강력하다.
• 단일 숫자로 보고하는 관행 자체가 위험을 축소해 보이게 할 수 있다. 같은 모델도 토큰 예산에 따라 시간 지평이 배로 달라지기 때문이다.
• 토큰 예산을 키울수록 추세선이 가팔라진다는 관측은, 능력 성장이 모델 세대 교체만이 아니라 실행 시 투입 자원에서도 나온다는 뜻이다.
• 사이버보안은 성공 여부를 기계적으로 확인할 수 있어 강화학습과 추론 확장이 특히 잘 먹히는 영역이다. 이 검증 용이성이 곧 위험 요인이 된다.
• 발표자는 자신들의 결과를 스스로 깎아내리며 평가 방법론의 한계를 인정한다. 최전선 평가는 어렵고 자주 빗나간다는 전제를 함께 읽어야 한다.

자주 묻는 질문

관련 AI 소식