AI 안전성 평가의 맹점: 테스트타임 컴퓨트를 빼놓은 벤치마크가 위험을 감추는 방식

핵심 메시지

• 사이버 보안 평가 막대그래프에서 GPT-5.5는 이전 모델보다 79%에서 82%로 조금 나아 보였지만, 실제로 써 본 사람들은 훨씬 큰 차이를 느꼈다.
• x축을 출력 토큰으로 바꿔 그리면 두 모델의 격차가 크게 벌어진다. 이전 모델이 같은 문제에 훨씬 오래 생각하고 있었기 때문이다.
• 최신 추론 모델은 누적 토큰이 1억을 넘어도 성능이 계속 오르기 때문에, '성능이 평평해질 때까지 생각시키자'는 기준도 성립하지 않는다.
• 적은 예산으로 측정한 안전성 평가는 위험을 과소평가한다. 추론에 1000만 달러를 쓸 수 있는 조직은 훨씬 높은 능력에 도달할 수 있다.
• 브라운의 제안은 토큰·비용·시간 축 공개, 리더보드의 추론 사용량 추적, 안전 기준선 판단에 테스트타임 컴퓨트 반영 세 가지다.

쉽게 이해하기

새 모델이 나오면 우리는 보통 막대그래프를 본다. 발표에서 예로 든 사이버 보안 평가에서도 새 모델의 점수는 이전 모델의 79%에서 82%로 올랐을 뿐이었다. 숫자만 보면 큰 진전이 아니다. 그런데 정작 모델을 써 본 사람들은 체감 차이가 훨씬 크다고 말했다. 브라운은 이 간극의 원인이 모델이 아니라 그래프에 있다고 본다.

같은 결과를 x축에 출력 토큰 수를 두고 다시 그리면 그림이 달라진다. 두 모델의 곡선은 뚜렷하게 벌어지고, 막대그래프에서 좁아 보였던 격차가 크게 드러난다. 이전 모델이 같은 문제를 풀 때 훨씬 오래 생각하고 있었기 때문이다. 즉 막대그래프 하나에는 '모델이 답하기 전에 얼마나 오래 생각했는가'라는 숨은 변수가 통째로 빠져 있다.

그렇다면 모두 같은 시간만큼 생각하게 하거나, 성능이 더 오르지 않을 때까지 충분히 생각시키면 되지 않을까. 브라운은 요즘 모델이 좀처럼 평평해지지 않는다는 점을 든다. 누적 토큰을 x축, 성공률을 y축으로 둔 자료에서 최신 모델들은 1억 토큰을 넘긴 뒤에도 성능이 빠르게 오르고 있었다. 더 긴 시간 축에서 작업을 이어가는 능력 자체가 좋아지면서, 예전 세대 모델보다 훨씬 오래 개선이 계속된다는 것이다. 다만 이 논리는 추론과 에이전트형 작업에 해당하고, 단순 지식 검색처럼 오래 생각한다고 나아지지 않는 과제에는 적용되지 않는다.

여기서 안전성 문제가 나온다. 안전성 평가도 대부분 막대그래프로 이뤄지는데, 평가 예산이 1달러나 10달러 수준이면 위험해 보이지 않던 모델이 예산을 크게 올리면 전혀 다른 능력을 보일 수 있다. 100달러를 써서 안전하다고 판정했더라도, 추론에 1000만 달러를 쓸 수 있는 조직 앞에서는 그 판정이 의미를 잃는다. 브라운이 제시한 대안은 x축을 추론 예산으로 두고 비교적 낮은 비용 구간에서 여러 지점을 측정한 뒤 더 높은 예산에서의 성능을 바깥으로 외삽하는 방식이다. 모든 데이터 포인트를 1000만 달러로 측정하는 것은 현실적으로 불가능하기 때문이다.

발표는 세 가지 구체적 제안으로 끝난다. 첫째, AI 연구소는 새 모델의 벤치마크 성적을 토큰·비용·시간 중 하나를 x축으로 삼아 공개해야 한다. 둘째, 벤치마크 리더보드는 추론 사용량을 함께 추적해야 한다. 한 학생이 다른 학생보다 열 배 오래 시험을 본다면 점수를 나란히 비교할 수 없는 것과 같다. 셋째, 준비도 프레임워크와 책임 있는 스케일링 정책이 모델의 안전 기준선 통과 여부를 판단할 때 테스트타임 컴퓨트를 명시적으로 반영해야 한다. 브라운은 이것이 아직 보편적 관행이 아니라는 점이 오히려 놀랍다고 말했다.

주요 인사이트

• 벤치마크 점수는 모델의 속성이 아니라 측정 조건의 함수다. 조건을 밝히지 않은 단일 숫자는 비교를 돕는 대신 오해를 만든다.
• '평평해질 때까지 돌리자'는 상식적 해법이 무너진 것이 핵심이다. 개선이 멈추지 않는다면 어디서 끊을지가 평가 설계의 선택 사항이 된다.
• 안전성 평가에서 예산은 공격자의 자원과 같은 축에 놓인다. 방어자가 100달러로 측정한 안전은 1000만 달러를 쓰는 상대에게 보장이 되지 못한다.
• 낮은 비용 구간을 여러 번 측정해 외삽하자는 제안은, 정확도를 조금 포기하는 대신 측정 가능성을 확보하려는 현실적 타협이다.
• 시험 시간 제한이라는 비유는 리더보드의 공정성 문제를 정확히 짚는다. 사용량을 기록하지 않으면 순위표는 성능이 아니라 지출을 반영하게 된다.

자주 묻는 질문

관련 AI 소식