METR 연구가 밝힌 AI 코딩 생산성 역설: 타임 호라이즌 지표와 개발자 RCT 결과

핵심 메시지

• METR의 타임 호라이즌 지표는 인간이 그 과제를 끝내는 데 걸린 시간으로 AI 능력을 환산하며, 지수적 상승 추세가 꾸준히 이어지고 있다.
• 숙련 오픈소스 개발자 16명을 대상으로 한 무작위 대조 실험에서 AI 사용이 허용된 과제는 오히려 완료 시간이 약 20% 늘었다.
• 전문가는 40%, 개발자 본인은 사전 24%·사후 20%의 시간 단축을 예측했지만 실제 데이터는 정반대였다.
• AI는 AI에게 최적화된 조건에서 측정되고, 인간에게 최적화된 조건에서 배치된다는 것이 격차의 핵심 구조다.
• 설문으로 생산성 향상을 추정하는 방식은 신뢰하기 어렵다는 점이 이 연구의 가장 뼈아픈 교훈이다.

쉽게 이해하기

스탠퍼드 디지털 이코노미 랩 세미나에 METR의 조엘 베커가 연사로 나섰다. METR은 모델 평가와 위협 연구를 뜻하는 이름의 독립 비영리 연구기관으로, AI의 능력과 성향을 측정하고 이를 사회적 위험 시나리오와 연결하는 일을 한다. 발표의 뼈대는 두 갈래다. 하나는 널리 알려진 타임 호라이즌 연구, 다른 하나는 개발자 생산성을 잰 무작위 대조 실험이다.

타임 호라이즌 연구의 핵심 아이디어는 벤치마크 점수 40%와 60%가 무엇을 뜻하는지 모호하다는 문제에서 출발한다. 그래서 인간 기준선 데이터를 먼저 모은다. 해당 분야 전문성은 있지만 그 과제에 대한 사전 맥락은 적은 사람들에게 AI와 최대한 동일한 환경을 주고 과제를 시키면서, 성공 여부만이 아니라 완료까지 걸린 시간을 잰다. 그다음 AI에게 같은 과제를 주고, 과제 길이별 성공률에 로지스틱 곡선을 맞춰 성공 확률이 50%가 되는 지점을 그 모델의 타임 호라이즌으로 정의한다.

이렇게 얻은 값을 달력 시간 축에 찍으면 놀라울 정도로 규칙적인 지수 곡선이 나타난다. 최근에는 오히려 가팔라지는 모습이다. 다만 발표자는 한계를 솔직하게 나열한다. 기준선 참가자는 맥락이 적은, 이를테면 입사 첫날이나 첫 달의 사람에 가깝다. 과제는 대체로 텍스트 기반이고 알고리즘 채점이 가능한 것들로 선별돼 있으며, 천장이 낮다. 무엇보다 측정하기 쉬운 과제의 특성과 모델 개발사가 학습시키기 쉬운 과제의 특성이 서로 상관된다는 점이 구조적 우려로 남는다.

두 번째 연구는 조건을 완전히 뒤집는다. 맥락이 아주 풍부한 개발자를 데려온 것이다. 대상은 GHC 컴파일러, 사이킷런, 허깅페이스 트랜스포머스처럼 평균 10년 이상 된 백만 줄 규모 저장소의 핵심 기여자 16명이다. 이들은 저장소 기여 순위 평균 3위이며 평균 5년간 그 프로젝트에 참여해 왔다. 이들이 실제로 올려둔 깃허브 이슈를 과제로 삼고, 이슈 단위로 AI 사용 허용과 금지를 무작위 배정한 뒤 완료 시간을 기록했다.

결과는 예상과 정반대였다. 경제학·머신러닝 전문가들은 AI를 쓰면 40% 시간이 단축될 것이라 답했고, 개발자 본인들은 사전에 24%, 실험을 마치고 자기 기록을 본 뒤에도 20% 단축됐다고 답했다. 그러나 실제로는 AI 사용이 허용된 과제에서 20% 더 오래 걸렸다. 연구진은 부호가 뒤집힌 코딩 버그부터 온갖 가능성을 오랫동안 뒤졌다고 한다. 250건 규모라 많은 설명을 통계적으로 배제하지는 못했지만, 개발자들이 AI를 과하게 사용하는 경향은 슬로다운에 기여하는 요인으로 지목됐다.

발표자는 학습 곡선 가설에는 회의적이다. 커서를 처음 써본 개발자가 75%였지만, 첫 이슈·둘째 이슈를 제외해 가며 학습 효과를 찾아도 아무것도 관측되지 않았다는 것이다. 그를 더 설득한 근거는 정량 분석이 아니라 수십 시간 분량의 작업 녹화였다. 참가자들의 AI 사용 방식이 METR 내부 기준으로도 평범한 분포 안에 있었고, 오히려 더 앞선 워크플로를 쓰는 사람도 있었다고 한다. 반대로 청중이 제기한 가설, 즉 이맥스에 손이 익은 개발자에게 GUI 기반 도구를 강제한 것이 결과를 만들었을 가능성은 살아 있는 우려로 인정했다.

이 결과가 남긴 두 가지 교훈은 명확하다. 첫째, 설문은 믿을 수 없다. 발표자는 앤트로픽의 오퍼스 4.5 모델 카드가 개발자 16명에게 얼마나 빨라졌는지 물은 설문을 근거로 삼은 점을 언급하며, 그런 증거의 품질에는 심각한 의문을 제기해야 한다고 말한다. 둘째, 벤치마크는 이야기의 전부를 말해주지 않는다. 다만 그는 최근 후속 조사에서는 개발자들이 상당히 빨라진 것으로 보이며, 큰 폭의 향상을 기대한 개발자가 체계적으로 이탈해 오히려 향상 폭이 과소평가되고 있을 것이라고 덧붙인다.

격차를 설명하는 그의 관점은 한 문장으로 요약된다. 우리는 AI를 AI가 가장 잘하도록 최적화된 조건에서 측정하고, 인간에게 최적화된 조건에서 배치한다. 이는 세 층위로 나뉜다. 경기장이 다르고, 채점표가 다르며, 능력을 생산성으로 옮기는 과정에 마찰이 있다. 채점표 차이를 보여주는 사례가 인상적이다. 스위벤치에서 자동 채점을 통과한 해법 가운데, 실제 저장소 관리자가 본선에 병합하겠다고 판단한 것은 인간 정답 대비 잡음을 보정했을 때 절반 정도에 그쳤다.

마지막으로 그는 열린 문제를 던진다. 아주 긴 호라이즌 과제를 어떻게 측정할 것인가, 인간 천장을 넘어서는 최적화형 과제를 어떻게 설계할 것인가, 그리고 최근 관측되는 능력 급등이 얼마나 일반화될 것인가. 속도 향상과 실제 가치 상승을 구분해야 한다는 지적도 나온다. 학습 로그를 3천 배 더 검토할 수 있게 됐다고 해서 가치가 3천 배 오르지는 않기 때문이다. 그는 향후 몇 년 안의 변혁적 AI가 현재 추세와 모순되지 않는다는 견해를 남기며 발표를 마쳤다.

주요 인사이트

• 능력 측정과 생산성 측정은 다른 것을 재고 있다. 전자는 통제된 조건에서의 상한을, 후자는 현실의 마찰까지 포함한 값을 잰다.
• 50% 신뢰도는 '모든 과제를 절반 확률로 해낸다'가 아니라 '절반의 과제는 거의 항상, 나머지 절반은 거의 못 한다'에 가깝다. 실무에서 시간을 아끼려면 훨씬 높은 신뢰도가 필요할 수 있다.
• 실험 참가자 대부분이 결과를 본 뒤에도 커서를 계속 썼다. 사람은 완료 시간만 최적화하지 않으며, 도구의 사용 경험 자체도 선택의 이유가 된다.
• 자동 채점 통과와 실제 병합 가능성 사이의 간극은 벤치마크 점수와 현장 유용성 사이 간극의 구체적 원인 중 하나다.
• 시각 능력이 필요한 과제에서는 타임 호라이즌 수준이 텍스트 과제보다 크게 낮다. 작업이 지저분해질수록 체감 능력은 내려간다.

자주 묻는 질문

관련 AI 소식