언어모델 평가 방법 총정리: MMLU·챗봇 아레나·LLM 심판과 멀티모달 모델 기초까지

핵심 메시지

• 벤치마크가 필요한 이유는 세 가지다. 모델 성능을 재기 위해서, 이전 버전이나 다른 모델과 공정하게 비교하기 위해서, 그리고 어디서 못하는지를 알아 다음 개발 방향을 잡기 위해서다.
• 평가는 과제별 정답 맞히기에서 출발해 GLUE·SuperGLUE 같은 종합 벤치마크를 거쳐 MMLU·BIG-bench·HELM처럼 폭넓은 과목과 지표를 아우르는 형태로 확장돼 왔다.
• 정답이 정해진 정적 벤치마크는 포화되고 오염되기 쉬워, 사람이 두 응답을 비교 투표하고 Elo로 순위를 매기는 챗봇 아레나 같은 동적 평가가 널리 쓰인다.
• 비용을 줄이려 강한 모델을 심판으로 쓰는 방식은 빠르고 저렴하지만, 롱테일 질의에서 오판하거나 적대적 프롬프트에 흔들릴 수 있다.
• 멀티모달의 기술적 난제는 표현 학습, 정렬, 추론, 생성 네 가지이며, ViT와 CLIP, 그리고 이미지 표현을 언어 공간으로 투영하는 BLIP-2·LLaVA 계열이 그 해법의 축을 이룬다.

쉽게 이해하기

강의는 평가와 멀티모달 두 주제를 한 시간에 몰아 다룬다. 출발점은 '왜 벤치마크를 만드는가'인데, 모델이 잘하는지 못하는지 말해 줄 잣대가 필요하고, 표준이 있어야 이전 버전이나 다른 기준선과 공정하게 견줄 수 있으며, 무엇보다 어떤 상황에서 모델이 무너지는지를 알아야 다음 개발을 이끌 수 있기 때문이다. 평가는 늘 모델을 따라 커져서, 초기에는 손글씨 숫자 분류나 구문 분석용 트리뱅크, 음성 인식용 스위치보드처럼 과제별로 작았고 딥러닝 시기에 이미지넷과 COCO로 규모가 커졌다. 자연어 쪽에서는 2016년 SQuAD가 지문과 질문을 주고 답을 뽑게 했고, 2018년 SQuAD 2.0은 지문만으로 답할 수 없는 질문을 넣어 모델이 '답 없음'을 낼 수 있어야 하게 바꿨다.

지표도 함께 정리된다. 정확 일치(EM)는 예측이 정답 중 하나와 똑같아야 점수를 주므로 지나치게 엄격할 때가 있어, 토큰 수준 겹침을 재는 F1을 함께 보고한다. 기계번역은 BLEU나 문자 단위 chrF를, 요약은 ROUGE와 최장 공통 부분수열을 보는 ROUGE-L을 주로 쓰는데 모두 생성 결과와 참조 답안 사이의 n-그램 겹침을 세는 방식이다. 겹침 대신 BERT 같은 임베딩 모델로 표현을 뽑아 의미 유사도를 재는 지표도 쓰인다.

사전학습 모델이 여러 과제를 함께 해내기 시작하면서 평가도 종합화됐다. 감성 분류·유사도·자연어 추론 등을 묶은 GLUE는 과제별 점수를 평균해 하나의 값으로 냈고, 모델이 빠르게 포화되자 이듬해 더 어려운 SuperGLUE가 나왔다. 파운데이션 모델 시대에는 57개 과목을 다루는 MMLU가 대표 지표가 됐는데, 대학 수준 문제인데도 최근 모델은 90%에 가까운 정확도에 이르렀고 오픈웨이트 모델도 빠르게 따라붙었지만 폐쇄형 모델과의 격차는 남아 있다. 200개 넘는 과제를 커뮤니티가 기여한 BIG-bench와 그중 어렵고 잡음이 적은 23개를 추린 BIG-bench Hard도 소개되는데, 후자에서는 단계별로 생각하게 하는 사고연쇄 프롬프팅이 추론 과제에서 뚜렷한 이득을 보였다. HELM은 한발 더 나아가 시나리오를 먼저 정의하고 정확도 외에 교정·공정성·편향·독성·효율성까지 여러 축으로 순위를 보여 준다.

문제는 이런 평가가 모두 정적이고 정답 기반이라는 점이다. 현실의 질의는 훨씬 다양하고 정답이 없을 때도 많아서, 사람이 직접 질문을 던지고 무작위로 뽑힌 두 모델의 응답 중 어느 쪽이 나은지 고르는 챗봇 아레나가 쓰인다. 강의 시점 기준 72개 모델이 올라 있고, Elo 레이팅으로 쌍대 비교 결과를 하나의 점수로 환산해 10만 번 규모의 대결 뒤 순위를 내는데, 응답이 구조적이고 불릿이 많으면 사람이 더 좋게 평가하는 경향이 확인돼 이를 걷어내는 스타일 컨트롤이 추가됐다. 사람 평가는 정확하지만 비싸기 때문에 더 강한 모델을 심판으로 세우는 방식도 쓰이며, 두 차례 질의응답의 승패를 가리는 MT-bench가 예로 제시된다. 이 방식은 빠르고 저렴한 대신 잘 모르는 롱테일 영역에서 오판하고 적대적 프롬프트에 흔들리며, 사람 선호 점수를 올리면 표준 벤치마크 정확도가 떨어지는 최근의 음의 상관관계나 학습 데이터에 시험 문제가 섞이는 오염 문제와 함께 열린 질문으로 남아 있다.

후반부의 멀티모달은 네 가지 난제로 정리된다. 모달리티마다 다른 구조와 목표로 표현을 배우는 문제, 텍스트의 개념과 이미지의 객체를 맞추는 정렬 문제, 여러 모달리티 지식을 합쳐 추론하는 문제, 입력과 출력의 모달리티 수가 다를 수 있는 생성 문제다. 기술적으로는 ViT가 이미지를 16×16 패치로 잘라 선형 투영하고 위치 임베딩을 더해 표준 트랜스포머 인코더에 넣어 텍스트와 같은 스케일링 거동을 보였고, BEiT는 이미지를 이산 토큰으로 바꾸는 토크나이저를 따로 학습해 마스크 이미지 모델링을 적용했다. CLIP은 이미지와 텍스트 인코더를 따로 두고 한 배치 안의 짝을 맞히는 대조 학습으로 제로샷 분류를 가능하게 했지만 문장을 생성하지는 못해서, BLIP-2는 Q-Former라는 모듈로 이미지 표현을 언어모델 공간에 투영하고 인코더와 언어모델은 고정한 채 그 모듈만 학습한다. LLaVA는 같은 발상을 단순한 투영 행렬이나 2층 MLP로 구현하고, 캡션과 바운딩 박스 정보를 언어모델에 주어 인스트럭션 데이터를 자동 생성한다. 이미지 생성 쪽으로는 이미지 토큰과 트랜스포머를 쓰는 방식, 텍스트와 이미지 토큰을 구분 없이 다음 토큰 예측으로 학습하는 통합 모델, 잡음에서 단계별로 복원해 더 세밀한 이미지를 만드는 확산 모델이 언급된다.

주요 인사이트

• 평가의 역사는 곧 '무엇을 잘한다고 부를지'가 계속 이동해 온 역사다. 과제별 정답 맞히기에서 종합 점수로, 다시 사람의 선호로 기준이 옮겨 갔다.
• MMLU가 90%에 근접했다는 사실은 모델이 잘한다는 뜻이자 그 잣대의 수명이 다해 간다는 신호이기도 하다. 포화는 벤치마크 설계의 상수에 가깝다.
• 챗봇 아레나의 스타일 컨트롤은 흥미로운 자기 교정이다. 사람이 내용보다 형식에 끌린다는 사실을 인정하고, 그 성향을 점수에서 분리해 내려 한 시도다.
• 사람 선호 점수를 올리면 표준 벤치마크 정확도가 떨어진다는 음의 상관관계는 아직 설명되지 않았다. 잘 쓰는 모델과 잘 맞히는 모델이 갈라질 수 있다는 경고다.
• 멀티모달의 최근 해법은 새 모달리티를 처음부터 배우기보다, 잘 학습된 이미지 인코더와 언어모델 사이에 얇은 정렬 모듈을 끼우는 쪽으로 수렴했다.

자주 묻는 질문

관련 AI 소식