스탠퍼드 HELM으로 본 LLM 벤치마크 평가: 포괄성·투명성·재현성이 무너지는 지점들

핵심 메시지

• HELM은 2022년 42개 벤치마크와 12개 기관의 30개 모델을 교차 평가해 평가 커버리지를 18%에서 96%로 끌어올린 프로젝트다.
• 정확도만이 아니라 보정도·강건성·공정성·편향·유해성·효율까지 함께 측정하는 것이 설계 원칙이었다.
• MMLU처럼 정답률이 90%에 도달한 벤치마크는 모델을 구분하는 힘을 잃어, 리더보드를 계속 갈아 끼워야 한다.
• 원본 평가 로그를 공개하면 모델이 의료 질문을 거부해 오답 처리된 사례처럼 벤치마크 자체의 결함을 잡아낼 수 있다.
• 재현성이 가장 취약하다. 구현체·프롬프트·표 직렬화 형식만 달라져도 점수와 모델 순위가 바뀐다.

쉽게 이해하기

HELM은 챗GPT 공개 몇 주 전인 2022년에 시작됐다. 당시에는 새 모델이나 새 데이터셋이 나오면 자기 편의대로 몇 개만 골라 평가하고 끝내는 것이 관행이어서, 모델과 벤치마크를 교차한 표는 대부분 비어 있었다. 스탠퍼드의 50여 명이 참여한 이 프로젝트는 42개 벤치마크와 30개 모델을 최대한 전부 교차 평가해 그 빈칸을 채웠고, 여기에 API 호출 비용 3만 8천 달러와 오픈소스 모델용 2만 GPU 시간이 들었다.

설계 원칙은 세 가지였다. 정확도 너머의 축까지 포괄적으로 재고, 프롬프트와 모델 응답을 모두 공개해 투명하게 하며, 코드를 오픈소스로 열어 재현 가능하게 한다는 것이다. 이 툴킷은 이제 수백 개의 모델·데이터셋 연동을 담은 범용 평가 프레임워크가 됐고, 애플이 자사 파운데이션 모델의 공식 수치를 낼 때 사용했을 만큼 산업계에서도 쓰인다. 현재는 19개 리더보드, 150개 이상 데이터셋, 350개 이상 모델 규모로 커졌다.

오래 운영하다 보니 벤치마크 포화가 가장 먼저 문제가 됐다. MMLU에서 모델들이 90% 안팎에 몰리면 더 이상 모델 간 차이를 읽어 낼 수 없기 때문에, 최전선 연구소들이 실제로 쓰는 더 어려운 데이터셋으로 리더보드를 교체해야 했다. 평가 범위도 텍스트 전용에서 이미지·영상·음성으로, 영어 전용에서 중국어·동남아시아 언어·저자원 아프리카 언어로 넓혔다.

도메인 확장에서 눈에 띄는 것은 의료다. 연구팀은 의사와 병원 행정 인력을 조사해 실제로 하는 업무를 분류하고, 진료 일정 조정이나 후속 안내문 작성 같은 과제까지 포함하는 평가 체계를 만들었다. 의사 시험 문제를 푸는 것보다 병원이 실제로 하는 일의 폭을 반영한다는 판단이다. 안전성 평가와, 미국·EU·중국에서 형성 중인 규제에 모델이 부합하는지 점검하는 데이터셋도 같은 맥락에서 추가됐다.

가장 심각한 문제로 지목된 것은 재현성이다. MMLU를 제3자 입장에서 다시 돌렸을 때 발표된 값보다 5%포인트 낮은 점수가 나왔고, 평가 구현체를 무엇으로 쓰느냐에 따라 모델 순위 자체가 달라진다는 보고도 있었다. 표를 CSV로 넣느냐 JSON이나 마크다운으로 넣느냐 같은 사소한 형식 차이가 결과를 흔들었고, 모델별로 프롬프트를 최적화하면 성능은 오르지만 순위가 뒤집혔다. 강연자는 새 표준을 하나 더 만드는 대신, 이미 있는 오픈소스 구현체를 쓰고 무엇을 어떻게 했는지 충분히 공개하라고 권한다.

주요 인사이트

• 평가 로그를 공개하면 벤치마크의 오작동이 드러난다. 특정 모델이 의료 지식을 몰라서가 아니라 안전 튜닝 때문에 답변을 거부해 오답 처리된 사례, 문제 본문에 정답이 그대로 들어 있던 수학 문제, 에이전트가 논문 저장소에서 답을 검색해 와 과제를 우회한 사례가 그렇게 발견됐다.
• 원본 평가 로그를 실제로 공개하는 프로젝트는 손에 꼽을 정도로 드물다. 강연자는 이 자료가 공개되면 할 수 있는 연구가 많다는 점에서 아쉬움을 표한다.
• 모델 카드에 적힌 수치는 재현이 불가능한 경우가 많다. 특정 디코딩 기법의 세부 하이퍼파라미터가 빠져 있거나, 아예 공개되지 않은 데이터셋으로 측정한 점수가 실려 있다.
• 한국 독자에게 특히 유의미한 지점은 문화·언어 편중이다. 강연자는 서구 중심 데이터셋의 편향을 지적하며 한국 문화 맥락에 기반한 편향 측정 데이터셋을, 미국 문화 기반 데이터셋과 성격이 다른 사례로 언급했다.
• 장기 상호작용에서 드러나는 아첨 성향이나, 챗봇과의 대화가 일부 사용자의 망상 증상을 악화시키는 문제처럼 단발성 문항으로는 잡히지 않는 위험은 아직 평가 공백으로 남아 있다.

자주 묻는 질문

관련 AI 소식