대규모 언어모델 평가 지표 BLEU·ROUGE·BERTScore와 사람 평가 완벽 정리

핵심 메시지

• 자동 지표는 빠른 신호를 대량으로 주고, 사람 평가는 깊이와 뉘앙스를 채운다. 둘은 경쟁이 아니라 분업 관계다.
• BLEU는 정밀도(참조 표현과 얼마나 겹치는지), ROUGE는 재현율(중요한 내용을 얼마나 담았는지)에 초점을 둔다.
• BERTScore는 임베딩으로 의미를 비교해, 표현이 달라도 같은 뜻이면 잡아낸다.
• 어떤 지표 하나로 충분하지 않다. 언어는 여러 층위라 각 방법은 한 조각씩만 포착한다.

쉽게 이해하기

영상은 대규모 언어모델(LLM)의 품질 평가를 자동차 점검에 빗댄다. 기계는 몇 초 만에 엔진을 훑지만, 운전자만이 주행감이 어딘가 어색한지 느낄 수 있다. 마찬가지로 자동 지표는 수천 개 응답에 빠른 신호를 주고, 사람은 그 위에 깊이를 더한다. 창작이나 안전이 중요한 작업일수록 사람의 판단이 더 중요해진다.

대표적인 자동 지표 세 가지는 서로 다른 것을 본다. BLEU는 정밀도에 초점을 두어 모델 출력이 참조 문장의 표현과 얼마나 정확히 겹치는지를 본다. 대본을 얼마나 그대로 따라 읽는지 보는 것과 비슷하다. ROUGE는 재현율에 초점을 두어 중요한 내용이 얼마나 보존됐는지를 확인한다. 이야기의 핵심 줄거리를 제대로 다시 들려줬는지 점검하는 쪽에 가깝다.

BERTScore는 한 단계 더 들어가 임베딩으로 의미를 비교한다. 그래서 단어가 달라도 같은 생각을 표현하면 이를 알아챈다. 마지막 층은 사람이다. 유창성, 일관성, 사실적 근거, 의도와의 정렬을 사람이 판단한다. 영상은 BLEU가 창작 글쓰기에 약한 이유를 '겹침만으로는 상상력 있는 표현을 담을 수 없기 때문'이라고 짚는다.

평가 파이프라인은 하나의 흐름으로 그려진다. 넓은 범위의 프롬프트에서 출력을 만들고, 익숙한 사례와 까다로운 경계 사례를 모두 포함하도록 걸러 표본을 뽑는다. 이어 자동 지표가 수천 개 응답을 빠르게 훑어 신호를 내고, 사람이 신중한 판단이 필요한 사례를 검토한다. 마지막에는 이 통찰을 모아 모델을 다듬고 같은 순환을 반복한다.

작업별 선택 기준도 분명하다. 번역처럼 정밀도가 중요하면 BLEU, 요약처럼 재현율이 중요하면 ROUGE, 같은 뜻을 다른 말로 바꾸는 패러프레이즈처럼 정확한 표현보다 의미가 중요하면 BERTScore가 적합하다. 시간이 부족할 땐 자동 지표로 패턴을 먼저 드러내고, 사람의 노력을 가장 불확실하거나 영향이 큰 표본에 집중시키는 것이 합리적이다.

주요 인사이트

• 자동 지표는 '커버리지', 사람 평가는 '명료함'을 준다. 규모는 자동화가, 의미는 사람이 책임지는 구조다.
• BLEU=정밀도, ROUGE=재현율, BERTScore=의미 비교라는 축으로 외우면 지표 선택이 쉬워진다.
• 반복되는 오류를 진단할 때, 자동 지표는 '무엇'이 잘못됐는지, 사람 검토는 '왜' 그런지를 드러낸다.
• 평가의 출발점은 '내 작업에서 품질이 무엇을 의미하는가'를 정의하고, 기존 시스템으로 기준선 점수를 잡는 것이다.

자주 묻는 질문

관련 AI 소식