LLM-as-a-Judge란? AI로 AI 출력 평가하는 전략과 편향 주의점

핵심 메시지

• 전통 지표나 수작업 라벨링으로는 방대한 AI 출력을 평가하기 어려워, LLM이 다른 LLM의 출력을 채점하는 LLM-as-a-Judge가 대안으로 떠올랐다.
• 참조 없는 평가의 두 축은 루브릭을 설계하는 '직접 평가'와 두 출력 중 더 나은 것을 고르는 '쌍대 비교'다.
• 오픈소스 프레임워크 EvalAssist 사용자 연구에서 약 절반은 직접 평가, 약 4분의 1은 쌍대 비교, 나머지는 둘을 결합한 방식을 선호했다.
• LLM-as-a-Judge는 대량 처리에 강하고(확장성), 기준을 유연하게 다듬을 수 있으며, 참조가 없어도 자연스러움 같은 주관적 품질을 평가할 수 있다.
• 단 위치 편향·장황함 편향·자기선호 편향 같은 맹점이 있어, 위치를 바꿔보는 등의 검증으로 경계해야 한다.

쉽게 이해하기

영상은 AI가 쏟아내는 방대한 텍스트를 어떻게 평가할지에서 출발한다. 전통적 지표는 특정 과제에 맞지 않을 수 있고, 수백 개의 챗봇 응답이나 요약을 사람이 직접 라벨링하는 것은 시간이 너무 많이 든다. 그 대안이 LLM이 다른 LLM의 출력을 평가하는 'LLM-as-a-Judge'다. 영상은 평가 전략, 장점, 단점의 세 부분으로 나눠 설명한다.

참조가 없는 평가에는 두 가지 주요 방식이 있다. 첫째 '직접 평가'는 루브릭을 설계하는 데 달려 있다. 예를 들어 요약의 명료성·일관성을 평가한다면 '이 요약은 명료하고 일관적인가?'라는 기준에 '예/아니오' 같은 선택지를 두고 각 출력을 그 루브릭에 따라 채점한다. 둘째 '쌍대 비교'는 독립적인 라벨을 매기는 대신 두 출력을 놓고 'A와 B 중 어느 것이 더 나은가?'를 묻는다. 출력이 여러 개면 비교 결과를 랭킹 알고리즘으로 종합해 순위를 만든다.

어떤 전략이 더 나은지는 과제와 사용자에 따라 다르다. 새로 오픈소스로 공개된 EvalAssist에 대한 사용자 연구에서, 참가자의 약 절반은 루브릭을 명확히 통제할 수 있다는 이유로 직접 평가를 선호했고, 약 4분의 1은 특히 주관적 과제에서 쌍대 비교를 선호했다. 나머지는 규정 준수에는 직접 평가를, 최적 출력 선택에는 쌍대 비교의 랭킹 알고리즘을 함께 쓰는 결합 방식을 택했다.

LLM-as-a-Judge를 쓰는 이유는 세 가지다. 첫째 확장성으로, 다양한 모델과 프롬프트로 수백~수천 개 출력을 만들 때 사람이 다 평가하지 않고도 구조화된 피드백을 빠르게 받을 수 있다. 둘째 유연성으로, 데이터를 더 볼수록 기준이 바뀌는 것은 자연스러운데 프롬프트를 다듬어 기준을 손쉽게 갱신할 수 있다. 셋째 뉘앙스로, BLEU·ROUGE 같은 전통 지표가 단어 중첩에 의존하는 것과 달리 참조가 없어도 '출력이 자연스러운가, 사람 같은가' 같은 주관적 질문을 평가할 수 있다.

물론 단점도 있다. 사람처럼 LLM도 여러 편향으로 드러나는 맹점이 있다. 위치 편향은 내용과 무관하게 특정 위치(예: 항상 A)를 선호하는 것이고, 장황함 편향은 길이를 곧 품질로 보아 더 긴 출력을 계속 선호하는 것이며, 자기선호 편향은 자기가 만든 출력을 알아보고 더 낫지 않아도 선호하는 것이다. 다만 좋은 프레임워크는 이런 실수를 잡도록 설계된다. 예컨대 A와 B의 위치를 바꿔(positional swap) 판정이 달라지는지 확인할 수 있다. 편향이 있다고 시스템이 완전히 망가진 것은 아니며, 경계심을 유지하면 된다는 것이 영상의 결론이다.

주요 인사이트

• 참조가 없는 평가에서 '직접 평가(루브릭)'와 '쌍대 비교(A/B 선택+랭킹)'는 서로 다른 강점을 가지며, 최선의 선택은 과제와 사용자에 따라 달라진다.
• BLEU·ROUGE 같은 단어 중첩 지표는 참조가 있을 때 유용하지만, LLM-as-a-Judge는 참조 없이도 자연스러움 같은 주관적 품질을 평가할 수 있다.
• 기준은 데이터를 더 볼수록 바뀌기 마련인데, LLM-as-a-Judge는 프롬프트를 다듬어 기준을 유연하게 갱신할 수 있다는 점이 수작업 대비 큰 이점이다.
• 위치·장황함·자기선호 편향은 평가 결과를 왜곡할 수 있어, 위치를 바꿔보는 검증처럼 편향을 잡는 장치가 프레임워크에 필요하다.
• EvalAssist 사용자 연구에서 절반가량이 직접 평가를 선호했다는 점은, 통제 가능한 명확한 루브릭에 대한 실무 수요가 크다는 것을 보여준다.

자주 묻는 질문

관련 AI 소식