LLM 벤치마크와 AI 안전성 평가의 빈틈: 측정 이론으로 본 구조적 문제와 개선 방향

핵심 메시지

• LLM을 심판으로 쓰는 평가는 아직 검증이 부족하다. 비교 기준이 되는 사람의 판단 자체가 표준화·재현되지 않은 경우가 많기 때문이다.
• 벤치마크는 만들기 전에 목적·대상·표본 근거를 문서로 정당화해야 한다는 제안(ECBD, 증거 중심 벤치마크 설계)이 나왔다.
• 안전성과 무해성은 정의 없이 뭉뚱그려진 '묶음'으로 다뤄져, 무관한 답변까지 유해로 표시되는 등 데이터 품질 문제를 낳는다.
• 그 결과 특정 집단을 가리키는 단어만 들어가도 답변을 거부하는 '과잉 안전' 행동이 생기고, 이는 새로운 형태의 차별로 이어진다.
• 텍스트 데이터가 고갈되고 스케일링 법칙이 지수적이라, 규모 확대만으로 성능을 끌어올리는 시대는 사실상 끝나가고 있다.

쉽게 이해하기

인공지능 모델이 좋아졌다는 말은 대개 벤치마크 점수로 증명된다. 하지만 그 점수가 정말 우리가 궁금해하는 능력을 재고 있는지는 별개의 문제다. 자연어처리와 평가 방법론을 연구해 온 재키 치 킷 청 교수는 이 인터뷰에서 현재의 평가 관행이 측정 도구로서 얼마나 허술한지를 조목조목 짚는다.

가장 먼저 도마에 오른 것은 LLM을 채점자로 쓰는 방식이다. 연구진은 이를 측정 이론의 두 개념인 타당도(재려던 것을 재고 있는가)와 신뢰도(같은 조건에서 결과가 일관되는가)로 뜯어봤다. 통상적인 검증법은 모델의 판정이 사람 전문가의 주석과 잘 상관되는지 보는 것인데, 정작 그 사람 쪽 실험이 프로토콜마다 제각각이고 재현성도 확보되지 않은 사례가 많았다.

여기에 더해 모델 심판은 프롬프트 문구를 조금 바꾸거나 선택지 순서를 뒤집는 것만으로 판정이 크게 달라진다. 순서를 모두 시도해 평균을 내는 식으로 완화할 수는 있지만, 이런 민감성 자체가 모델이 사람 전문가와 같은 추론 경로를 밟고 있지 않다는 신호다. 그는 모델 심판을 아예 쓰지 말자는 것이 아니라, 배포 환경마다 별도의 검증을 거친 뒤 쓰자고 말한다.

안전성 평가에서는 문제가 더 근본적이다. 사람에게 '둘 중 어느 쪽이 덜 유해한가'만 묻고 어떤 사회적·배포 맥락인지는 설명하지 않으니, 유해성은 온갖 문제가 뒤섞인 catch-all 범주가 된다. 실제로 감사해 보니 단순히 질문과 무관한 답변까지 유해로 표시돼 있었다. 이런 데이터로 미세조정하면 모델은 특정 인구 집단을 가리키는 단어가 들어간 무해한 질문까지 거부하는 과잉 안전 행동을 학습한다.

환각의 구조에 대한 관찰도 흥미롭다. 앞 문장에 전혀 상관없는 정보를 붙여두면, 모델은 뒤 문장의 질문 유형에서 '언어를 답해야 한다' 같은 범주는 파악하면서도 구체적인 값은 앞 문장에서 끌어다 채워 넣는 경향을 보였다. 오답이 무작위가 아니라 예측 가능한 패턴을 띤다는 뜻이고, 맞힌 답도 같은 방식으로 우연히 맞은 것일 수 있다는 뜻이기도 하다.

주요 인사이트

• 평가의 신뢰도를 높이는 첫걸음은 새로운 기법이 아니라 문서화다. 사람과 모델에게 각각 무엇을 어떻게 물었는지, 그 개념을 어떻게 정의했는지 적어 두는 것만으로도 비교 가능성이 크게 올라간다.
• '범용'이라는 표현이 평가의 모호함을 키운다. 무엇이든 잘한다는 약속 대신 '다목적'이라 부르고, 검증된 용도와 근거가 있는 용도, 아직 모르는 용도를 구분해 밝히는 편이 정직하다.
• 추론이라는 말은 두 가지가 뒤섞여 쓰인다. 하나는 프롬프트 형식과 미세조정으로 만들어낸 메커니즘이고, 다른 하나는 암묵적 정보를 명시적 결론으로 끌어내는 추상적 과정이다. 둘을 구분해야 논의가 정확해진다.
• 업계에서 '점수는 이 모델이 제일 높은데 실제로는 저 모델이 낫더라'는 말이 반복되는 것은 보고된 지표와 실제 배포 환경에 필요한 능력의 조합이 다르기 때문이다.
• 논문을 AI 요약으로만 소화하면 분야의 구조가 머릿속에 쌓이지 않는다. 요약은 새 결과를 빠르게 훑는 데 유용하지만, 판단의 뼈대는 원문과 오래된 기초 논문을 직접 읽으며 만들어야 한다.

자주 묻는 질문

관련 AI 소식