METR 시간 지평 해설: AI가 완수하는 작업 길이의 배가 추세와 측정 방법, 재귀적 자기개선 판단 기준

핵심 메시지

• 시간 지평은 '사람이 이만큼 걸리는 작업을 모델이 몇 퍼센트 확률로 성공하는가'로 능력을 재는 지표다. 벤치마크마다 갈리던 진척도를 하나의 축 위에 올리려는 시도다.
• 지난 5~6년을 보면 배가 시간이 약 7개월인 지수 추세가 나타났고, 2024년 이후 모델만 보면 약 4개월에 가깝다. 데이터 점이 10~15개뿐인 상태에서 구간별 직선을 맞추는 일이라 과대 해석은 위험하다는 단서가 붙는다.
• 작업은 소프트웨어 공학과 사이버 보안, ML 연구공학에 몰려 있다. METR이 걱정하는 위협 모델과 직결되고, 자동 채점이 가능해 측정이 쉽다는 실용적 이유도 있다.
• 숫자 하나로 재귀적 자기개선 시점을 못 박기는 어렵다. 40시간, 즉 한 주 분량을 위임할 수 있는 수준이 대략의 기준으로 언급되지만, 개발자 생산성 무작위 대조 실험 결과가 그 확신을 흔들었다.
• 같은 작업 길이라도 '지저분함'이 성공률을 따로 설명한다. 다만 무엇이 지저분한 작업인지에 대한 사람들의 감각이 크게 갈려 지표로 만들기가 어렵다.

쉽게 이해하기

AI 능력의 진척을 재는 표준은 벤치마크다. 문제는 시간축이 길어질 때다. 벤치마크는 특정 도메인에 묶여 있고 문제 난이도도 서로 비슷하게 모여 있어서, 2017년의 쉬운 과제와 2025년의 어려운 과제를 놓고 정성적으로 비교하는 수밖에 없었다. METR의 접근은 다른 축을 세운다. 사람이 그 작업을 하는 데 걸리는 시간을 난이도로 삼고, 모델이 50% 확률로 성공하는 작업 길이를 하나의 숫자로 뽑는 것이다. 과제 범위는 몇 초짜리부터 8~10시간짜리까지다. 몇 초짜리 예시는 파일 이름만 보고 비밀번호가 담긴 파일을 고르는 문제이고, GPT-2도 성공한다. 중간 난이도는 50~100행짜리 CSV를 20~30행 스크립트로 처리하는 정도, 가장 어려운 것은 임베딩이 뒤섞인 신경망을 복원하거나 변형된 해시 알고리즘에서 충돌을 찾는 과제다.

사람의 소요 시간을 어떻게 정의하느냐가 지표의 뼈대다. 길에서 아무나 데려와 재면 유용한 값이 나오지 않으므로, 실제로 그 일을 할 만한 전문성을 가진 사람에게 시키고 성공한 시도의 기하평균을 쓴다. 기하평균인 이유는 완료 시간이 로그 분포에 가깝고, 유독 오래 걸린 사람이 전체를 지배하지 않게 하려는 것이다. 실패는 제외한다. 실패에는 전문성 배정이 잘못됐거나 인프라 문제, 지루해서 그만두는 경우, 성공 보너스를 노려 어려운 과제를 일찍 포기하는 왜곡된 유인까지 섞여 있어 정보량이 적다는 판단이다.

결과는 놀라울 만큼 매끄럽다. 로그 척도에 놓으면 모델들이 하나의 직선에 올라간다. 논문 발표 초기에는 배가 시간이 7개월이었고, 2024년 이후 모델만으로 맞춘 4개월 추세가 지금까지 더 잘 맞아 왔다는 것이 화자의 낮은 확신도 추정이다. 초지수 성장인지는 여전히 모른다. 현재 수준은 50% 성공률 기준 약 2시간이고, 최신 모델은 2시간 15분 정도로 언급된다. 4개월 배가가 이어진다면 연말에 4시간, 이듬해 봄에 8시간, 가을에 16시간이 된다. 비용 쪽은 아직 큰 걱정이 아니다. 800만 토큰 한도를 쓰는데, 이는 성경 여섯 권 분량이지만 같은 일을 전문가에게 맡기는 비용보다 최소 한 자리 수 이상 싸다.

이 지표를 만드는 이유는 위협 모델과 이어진다. METR이 가장 우려하는 것은 AI가 AI 발전의 노동 부분을 대체하면서 진보 속도 자체가 급격히 빨라지는 상황이다. 그때는 한 조직으로 권력이 급격히 집중될 수 있고, 모델이 안전하다는 근거들도 무너질 수 있다. 평가 방식을 잘 아는 모델은 평가를 속이기 쉽고, 사고 연쇄를 읽는 감독도 숨은 추론 앞에서는 통하지 않는다. 다만 노동만이 입력은 아니다. 연구자 수가 몇 자리 수 늘어도 연산과 데이터가 병목이라면 그만큼 빨라지지 않는다. 화자는 시간 지평 추세를 ML 벤치마크보다 경제 모델에 가까운 것으로 본다고 말한다. 애초에 시간을 x축에 놓는 것에 매우 회의적이었는데, 이렇게 견고한 추세가 나오는 것을 보고 경제학에 관심이 커졌다는 고백도 나온다.

그렇다면 몇 시간이 되면 위험한가. 이 질문에 화자는 아직 좋은 답이 없다고 말한다. 40시간, 한 주 분량의 일을 효율적으로 위임할 수 있게 되면 AI 발전이 상당히 빨라질 수 있다는 대략의 기준은 있다. 다만 개발자 생산성 무작위 대조 실험에서 숙련 오픈소스 개발자들이 AI로 평균 20% 느려졌고 스스로는 빨라졌다고 잘못 판단했다는 결과가, 그 기준에 대한 확신을 낮췄다. 두 결과가 겉보기만큼 충돌하지는 않지만, 과제를 명확히 지정하는 능력이나 자동 채점이 능력을 과대평가하게 만드는 문제 같은 다른 병목이 있을 수 있다는 쪽으로 불확실성이 커졌다는 것이다. 앞으로의 과제는 더 긴 작업의 기준선을 확보하는 일, 그리고 벤치마크 자체를 검증하는 일이다. 화자는 최근 몇 주 동안 SWE-bench에서 모델 시도들을 직접 분류하며, 테스트가 잡아내지 못하는 올바른 구현이나 통과했지만 다른 코드를 깨뜨리는 답이 얼마나 되는지 살펴봤다고 말한다.

주요 인사이트

• 난이도를 '얼마나 어려운 문제인가'에서 '얼마나 긴 일인가'로 바꾼 것이 이 지표의 핵심이다. 모델은 국제수학올림피아드 문제를 풀면서도 조금 복잡한 실무를 못 해내는데, 전문성 축을 걷어내면 그 격차, 즉 주체성에 가까운 것이 드러난다는 발상이다.
• 성공만 세고 실패를 버리는 선택은 편향이 아니라 정보량의 문제로 설명된다. 누가 성공했다면 '이 일은 이 시간에 가능하다'는 객관적 사실이 남지만, 실패에는 전문성 배정 오류부터 지루함, 보너스 유인까지 잡음이 섞인다.
• 시간을 x축에 놓은 그래프가 왜 매끄러운지는 아직 설명되지 않았다. 실제 입력은 기업들이 경쟁적으로 자원을 투입하는 과정이므로, 화자는 이 추세를 열역학이나 경제 성장처럼 지저분한 미시 과정이 상위에서 규칙성을 만드는 사례로 읽는 쪽에 관심을 보인다.
• 일정한 실패율 모형도 후속 연구로 검토됐다. 사람이 쓰는 시간당 일정 확률로 치명적 실수를 한다고 가정하면 지수 적합이 되고, 논문의 로지스틱 적합과 비교되었다. 실제로는 로지스틱이 더 잘 맞았지만, 어느 쪽을 택할지는 적합도만이 아니라 모형의 단순함에 얼마나 무게를 둘지의 문제이기도 하다.
• 측정 비용이 연구의 제약이 되어 간다. 주요 과제군의 기준선 확보에만 수만 달러에서 십수만 달러 규모가 들었고, 작업이 주·달 단위로 길어지면 이 비용이 지배적이 된다. 다만 지금 가장 비싸고 어려운 일은 여전히 과제 자체를 만드는 것이다.

자주 묻는 질문

관련 AI 소식