AI 평가(Eval) 기초: LLM과 에이전트 시스템 품질을 측정하는 다섯 가지 관점

핵심 메시지

• 평가(Eval)는 모델의 입력과 출력을 정해진 기준(루브릭)으로 채점하는 "쪽지 시험"과 같다.
• 아마존 알렉사 사례처럼 그럴듯하지만 부정확하거나 불완전한 답을 걸러내는 것이 평가의 핵심이다.
• 평가는 CRISP-DM 개발 수명주기의 다섯 번째 단계로, 다시 반복할지 배포할지를 결정한다.
• 평가는 AI 성능 개선에서 가장 높은 투자 대비 효과(ROI)를 낸다. 평가가 없으면 성능 저하의 원인을 짚을 수 없다.
• 모델은 자주 바뀌지만 평가 방법은 오래 남는다. 이미지넷 사례가 이를 잘 보여준다.

쉽게 이해하기

발표자는 매주 새로운 LLM과 프레임워크, 100편이 넘는 연구 논문이 쏟아지는 상황을 "소방 호스"에 비유한다. 이 모든 것을 다 읽어 따라잡을 수는 없지만, 무엇이 실제로 잘 작동하는지 "평가"할 수는 있다고 말한다. 그래서 평가가 이 흐름을 헤쳐 나가는 핵심 역량이 된다는 것이 영상의 출발점이다.

평가란 무엇인가. 입력을 모델에 넣어 나온 출력을 어떤 기준으로 채점하는 과정이다. 발표자가 알렉사에서 일할 때 하루 1억 건의 발화가 들어왔는데, "개가 양파를 먹어도 되나요?"라는 질문에 알렉사가 "네"라고만 답하면 그럴듯하게 들려도 실제로는 틀린 답이다. 이렇게 답이 맞는지, 부분적으로만 맞는지, 설명이 불충분한지를 표시하는 초기 반응(open code)에서 시작해 점차 구조화되고 자동화된 루브릭으로 발전시킨다.

평가가 들어가는 위치와 시점도 정리한다. AI의 세대(전통 AI, 고전 머신러닝, 신경망, 생성형, 에이전트형)와 무관하게 평가의 개념은 동일하다. 개발 수명주기(CRISP-DM)의 여섯 단계 중 평가는 다섯 번째 단계로, 이 결과에 따라 다시 앞 단계로 돌아갈지 배포할지가 갈린다. 배포 후에도 알렉사처럼 매일 일부 표본을 사람이 평가하는 운영 단계의 평가가 이어진다.

왜 평가가 중요한가. 발표자는 평가가 AI 성능 개선에서 가장 높은 ROI를 낸다고 강조한다. 평가 없이 "느낌"으로만 판단하면 왜 성능이 나쁜지 짚을 수 없다. 그는 생성형 AI 프로젝트의 상당수가 운영 환경에서 실패한다는 연구를 인용하며, 실패 원인의 큰 부분이 기대한 성능과 ROI가 나오지 않는 데 있다고 본다. 기술에 깊지 않은 제품 담당자라도 평가를 알면 엔지니어를 정말 중요한 개선 방향으로 이끌 수 있다.

마지막 메시지는 "모델은 일시적이지만 평가는 남는다"이다. 2011년 이미지넷 챌린지에서 상위 5개 오류율은 약 26%였는데, 2012년 알렉스넷이 15%로 낮추고 2015년에는 사람 수준을 넘어섰다. 그동안 모델은 계속 바뀌었지만 평가 지표(precision@5)는 그대로였다. 즉 특정 모델이나 구조의 유행이 지나가도 평가 능력은 지속되는 자산이라는 것이다.

주요 인사이트

• 평가는 모델을 만드는 사람만의 일이 아니다. 기술에 깊지 않은 제품 담당자도 무엇이 좋은 답인지 정의하고 측정할 수 있으면 개선의 우선순위를 정할 수 있다.
• 초기 평가는 "맞음/부분적으로 맞음/설명 부족" 같은 단순한 표시에서 시작한다. 처음부터 정교한 자동 지표를 만들 필요는 없다.
• 운영 환경에서는 전수가 아니라 표본을 지속적으로 평가하는 방식이 현실적이다. 알렉사도 하루 1억 건 중 극히 일부만 사람이 검수했다.
• 평가 능력은 특정 모델이 유행에서 밀려나도 이어지는 "이동 가능한 기술"이다.

자주 묻는 질문

관련 AI 소식