AI 벤치마크 점수의 함정: 벤치맥싱은 왜 생기고 데이터 오염과 허술한 채점기는 무엇을 망치나

핵심 메시지

• '벤치맥싱'이라는 말이 생겼다는 사실 자체가, 업계가 이미 벤치마크 점수와 실제 성능이 다르다는 것을 알고 있다는 신호다.
• 벤치마크를 제대로 만들려면 사람 전문가에게 큰 비용을 써야 하는데, 비용을 아끼려는 우회로가 대부분의 품질 문제를 만든다.
• 공개된 문제와 정답은 결국 모델에 외워지며, 발표자는 최신 모델이 널리 쓰이는 코딩 벤치마크의 내용을 그대로 이어서 출력하는 것을 확인했다고 밝혔다.
• 채점기가 허술하면 잘하는 모델과 못하는 모델이 같은 점수를 받아, 그 문항은 아무것도 구분하지 못한다.
• 좋은 벤치마크는 실제 전문가에서 출발해 프롬프트와 채점 기준을 양방향으로 맞추고, 오염을 막을 비공개 문제를 남겨 둬야 한다.

쉽게 이해하기

새 AI 모델이 나올 때마다 발표 자리에는 화려한 벤치마크 수치가 등장한다. 그러나 사람들이 실제로 써 보면 기대에 못 미치는 일이 반복되고, 그때마다 '벤치맥싱', 즉 사람들이 정작 원하는 능력과는 다른 방향으로 점수에만 과하게 최적화했다는 의혹이 제기된다. 발표자는 이런 단어가 통용된다는 것 자체가 벤치마크와 현실 사이에 틈이 있다는 업계의 공통 인식이라고 짚는다.

문제의 뿌리에는 인센티브가 있다. AI는 전 세계 누구나 쓰는 기술이라 어떤 모델이 좋은지 판단할 기준이 필요한데, 대부분의 사람은 특정 벤치마크가 잘 만들어졌는지 판단할 수 없고 대신 '얼마나 유명한가'만 볼 수 있다. 그 결과 논의가 실제 가치보다 선점 효과와 마케팅에 끌려가고, 업계 내부에서 신뢰도를 문제 삼는 지표조차 계속 인용된다. 발표자는 사용자 투표 방식 순위표를 대표 사례로 들며, 좋다고 평가된 모델과 실제로 좋은 모델이 어긋난다는 지적이 이미 여러 차례 나왔다고 소개한다.

벤치마크 제작 쪽 실패 유형은 꽤 구체적이다. 과제 하나를 제대로 만드는 데 수십 시간이 들고 숙련 엔지니어 인건비가 얹히므로 규모 있는 벤치마크는 수백억 원대 사업이 되며, 여기서 비용을 아끼려고 값싼 인력이나 AI 자동 생성에 기대면 품질이 그만큼 떨어진다. 공개된 문제·정답은 학습 데이터로 흘러들어 사실상 암기 여부를 재게 되고, 모델은 규칙의 문자만 지키는 편법을 찾아낸다. 전화번호 형식처럼 정답이 여러 개일 수 있는데 채점기가 하나만 인정하면, 대부분 맞히는 모델과 자주 틀리는 모델이 똑같은 점수를 받는 일도 벌어진다.

발표자는 '취향'과 운영 품질도 벤치마크의 조건으로 꼽는다. 오늘날 벤치마크는 건조한 문제집이 아니라 우리가 AI에게 무엇을 기대하는지 표현한 산물이라는 것이다. 실제로는 아무도 하지 않을 지시를 조합해 만든 문항, 서로 모순되어 애초에 만족할 수 없는 지시, 글을 썼는지는 확인하지 않고 특정 글자 개수만 세는 채점기 같은 사례가 널리 인용되는 평가 세트에도 남아 있다. 검수가 부실하면 근거 문서와 정답이 어긋나 오히려 맞게 행동한 모델이 손해를 보고, 티가 나는 합성 데이터는 모델이 '지금 시험 중'임을 눈치채게 만든다.

해법으로 제시된 방향은 단순하지만 비싸다. 진짜 전문가에서 출발하되 규제나 업무 맥락을 아는 감각을 더하고, 실제 환경에서 얻은 입력 데이터와 정상 작동하는 도구를 쓰고, 프롬프트가 요구한 것을 채점기가 빠짐없이 확인하도록 양쪽을 맞추라는 것이다. 검수를 끝까지 하고 비공개 문제를 남겨 오염을 막아야 하며, 점수가 80% 근처에서 멈췄을 때 '포화'라고 선언하는 관행도 사실은 남은 문항이 망가져 있어서일 수 있다고 경고한다. 결국 사람이 직접 평가하는 비용을 어디까지 감당하느냐의 문제로 돌아온다.

주요 인사이트

• 벤치마크 점수는 '사람이 보기에 좋은 답'이라는 원본을 값싸게 압축한 대리 지표다. 압축이 부실할수록 점수는 오르는데 사용자 만족은 그대로이거나 오히려 떨어지는 구간이 생긴다.
• 데이터 오염은 예외적 부정행위가 아니라 아무 조치도 하지 않으면 벌어지는 기본값에 가깝다. 그래서 점수를 공개할 때 오염 검사 결과를 함께 밝히는 관행이 필요하다.
• 채점기의 허술함은 단순한 노이즈가 아니라 모델 간 순위를 뒤집을 수 있는 편향이다. 문항이 좋은 모델과 나쁜 모델을 구분하지 못하면 그 문항은 존재 이유가 없다.
• 숫자를 보도하고 인용하는 쪽에도 책임이 있다. 어떤 조건에서 측정했는지, 어떤 문항으로 구성됐는지를 확인하지 않은 채 순위만 옮기면 왜곡이 그대로 증폭된다.

자주 묻는 질문

관련 AI 소식