AI 벤치마크 오염 측정법: 레트로 홀드아웃으로 언어모델 점수 부풀림을 검증한 연구 발표

핵심 메시지

• 평가 문제가 학습 데이터에 섞여 들어가면 모델은 실제 능력이 아니라 시험 점수 자체를 잘 내게 된다.
• 연구팀은 공개된 벤치마크와 통계적으로 구별되지 않는 새 문제집을 사후에 만들어 대조군으로 삼았다.
• 두 문제집이 정말 같은지는 난이도 분포·기계 분류·사람 구분·의미 유사도 네 가지 검사로 확인했다.
• 최신 모델 상당수가 두 문제집 사이에서 통계적 우연으로 보기 어려운 점수 차이를 보였다.
• 발표자는 기업의 마케팅용 점수 비교가 재현 조건을 밝히지 않아 사실상 의미가 없다고 지적했다.

쉽게 이해하기

아파트 리서치와 아폴로 리서치가 연 해커톤 발표에서, 아파트 랩 펠로이자 팟캐스트 진행자인 제이컵 헤임스는 인공지능의 기만을 다룰 때 흔히 떠올리는 폭주하는 초지능 대신 훨씬 현실적인 문제를 들고나왔다. 측정 지표를 잘 받도록 최적화한 나머지 그 지표가 대신하려던 실제 능력은 나아지지 않는 상황, 즉 굿하트의 법칙이 인공지능 평가에서 벌어지고 있다는 것이다.

그는 평가 문제가 학습 데이터에 들어가는 일이 이미 널리 관찰됐다고 정리했다. 모델이 평가 데이터를 외우고 있다는 보고가 나왔고, 데이터 오염 탐지 도구가 만들어졌으며, 공개 리더보드조차 오염 때문에 순위가 의미를 잃었다고 판단한 사례가 있었다. 발표에서 인용된 정리 자료에는 일부 상용 모델이 여러 평가 데이터의 테스트 부분을 전부 품고 있다는 표시가 담겼다.

문제는 그 사실을 아는 것과 영향을 재는 것이 다르다는 데 있다. 원래 기계학습에서는 같은 자료를 무작위로 갈라 일부를 감춰 두고 채점용으로 쓴다. 그러나 공개 벤치마크 대부분은 그런 비공개 몫을 남겨 두지 않았다. 연구팀은 그렇다면 사후에 만들어 보자는 발상으로, 기존 벤치마크와 같은 분포에서 나온 것처럼 보이는 새 문제집을 직접 제작했다. 그들이 '레트로 홀드아웃'이라 부른 방식이다.

핵심은 새로 만든 문제집이 정말 대조군 자격이 있는지 검증하는 절차다. 연구팀은 네 가지 검사를 썼다. 첫째는 난이도 분포로, 원본 벤치마크가 공개되기 전에 학습을 마친 옛 모델들에 두 문제집을 풀려 점수가 95% 신뢰구간 안에 들어오는지 봤다. 둘째는 분류기로 미세조정한 언어모델이 두 문제집을 구별할 수 있는지, 셋째는 사람이 섞인 문제 중 새 문항을 골라낼 수 있는지, 넷째는 문장 임베딩으로 잰 의미 유사도가 통계적으로 다르지 않은지였다.

제작은 한 번에 끝나지 않았다. 원본의 질문 방식과 표현 습관, 답변이 서술되는 형태까지 분석해 첫 판을 만들고, 검사에서 걸린 차이를 근거로 고쳐 다시 넣기를 반복했다. 오염을 새로 들이지 않기 위해 제작 과정에서 언어모델을 전혀 쓰지 않은 점도 발표에서 강조됐다.

주요 인사이트

• 옛 모델을 기준점으로 삼은 이유가 분명하다. 원본 벤치마크가 세상에 나오기 전에 학습을 마친 모델은 그 문제를 봤을 수 없고, 개발자가 그 지표에 맞춰 최적화할 수도 없었기 때문이다. 다만 이런 모델들이 서비스에서 내려가고 있어 기준점을 구하기가 점점 어려워진다고 그는 말했다.
• 검사를 네 가지로 한정한 것은 원리적 한계가 아니라 현실적 선택이다. 발표자는 이론적으로는 무한히 많은 검사를 할 수 있지만 실행할 수 없어, 두 문제집을 의미 있게 갈라 볼 수 있는 방법들을 골랐다고 밝혔다.
• 오염의 책임을 두고 그는 실수라고 보기 어렵다는 입장을 냈다. 데이터 수집 관행에 주의하지 않으면 대량의 오염이 따라오는 것이 분명한데도 프런티어 모델을 만드는 기업들이 이를 해결할 만한 값어치가 없다고 판단하는 것 같다는 것이다.
• 문제는 기업만의 것이 아니다. 리더보드 성적이 좋으면 연구가 더 주목받고 인용도 늘기 때문에 학계에도 같은 유인이 작동한다고 그는 짚었다. 지표를 올리는 데 맞춘 연구 관행이 기계학습 전반의 엄밀성을 떨어뜨린다는 지적도 함께 나왔다.
• 비공개 평가로 옮겨 가는 흐름에는 대가가 따른다. 문제를 감추면 오염은 줄지만 투명성이 사라지고, 그동안 개방성이 만들어 온 진보의 동력도 함께 약해진다는 것이 그의 균형점이다.

자주 묻는 질문

관련 AI 소식