AI Evals 기초 정리 — 태스크·평가 데이터·채점기 3단계

핵심 메시지

• 전통적 AI는 정확도·정밀도 같은 지표로 쉽게 평가하지만, 생성형 AI는 정답이 하나가 아니고 말투·안전성·비용·지연까지 봐야 해 체계적 평가가 필요하다.
• AI 평가(eval)는 태스크 정의 → 평가 데이터 수집 → 채점기 설계라는 단순한 3단계 구조를 따른다.
• 채점기는 규칙 기반(코드), 모델 기반(LLM을 심판으로), 사람 채점 세 가지가 있으며 각각 속도·비용·신뢰도의 트레이드오프가 있다.
• 사람 채점은 가장 정확하지만 느리고 비싸므로, 소수의 표본만 사람이 채점해 자동 채점기가 제대로 작동하는지 검증하는 데 쓴다.
• LLM, RAG, 코딩 에이전트처럼 시스템이 복잡해질수록 평가할 차원(충실도, 검색 품질, 단계 수, 연산량 등)이 늘어난다.

쉽게 이해하기

전통적 AI에서는 평가가 비교적 단순했다. 모델의 출력이 예측값이고, 정확도·정밀도·재현율 같은 잘 정의된 지표로 성능을 재고 서로 다른 신경망을 비교할 수 있었다. 하지만 생성형 AI 시대에는 문단·코드·여러 단계의 행동처럼 열린 형태의 출력이 나오고 정답이 하나가 아니다. 유창하게 들리면서도 완전히 지어낸 답일 수 있고, 정확성뿐 아니라 말투·안전성·비용·지연까지 신경 써야 한다. 그래서 이 모든 것을 체계적으로 측정하는 방법이 필요하며, 그것이 바로 현대의 AI 평가(eval)다.

그 구조는 의외로 단순하다. 생성형 AI 시스템은 입력 프롬프트를 받아 출력을 내놓는데, 이를 평가하려면 세 단계를 따른다. 첫째, 시험할 구체적 행동인 '태스크'를 정의한다. 둘째, 모델이 처리해야 할 입력과 기대 출력으로 이뤄진 '평가 데이터'를 모은다. 셋째, 출력을 점수로 바꾸는 '채점기'를 만든다. 태스크는 한 번에 모든 것을 시험하지 않고 하나의 행동만 겨냥한다. 평가 데이터는 다양하되 모델이 실패하기 쉬운 지점, 특히 애매한 경계 사례에 집중해야 하며 직접 만든 표본이나 공개 벤치마크를 쓸 수 있다.

채점기는 평가의 핵심이다. 정답과 비교하는 방식(reference-based)과 정답 없이 일관성·안전성·형식 같은 속성만 보는 방식(reference-free)으로 나뉜다. 유형은 세 가지다. 코드 기반 채점기는 결정론적 규칙을 쓴다. 유효한 JSON을 반환했는가, 테스트를 통과했는가처럼 빠르고 싸고 재현 가능하지만 주관적 품질은 다루지 못한다. 모델 기반 채점기는 또 다른 LLM에게 루브릭을 주고 채점하게 하는 'LLM 심판' 방식으로, 말투·명료성 같은 주관적 영역에 잘 맞지만 심판 자체가 AI라 점수가 흔들릴 수 있다. 사람 채점은 가장 정확한 최고 기준이지만 느리고 비싸므로, 소수의 표본만 사람이 채점해 자동 채점기가 제대로 작동하는지 확인하는 데 쓴다. 비용이나 도구 사용 같은 다른 차원도 같은 3단계 구조로 평가할 수 있다.

영상은 세 가지 예시로 개념을 구체화한다. 새로 학습한 LLM의 안전성 평가에서는 '유해한 요청을 거부하는가'를 태스크로 삼는다. 명백히 유해한 것부터 애매한 경계까지의 적대적 프롬프트를 모아 '거부' 또는 '답변'으로 라벨을 붙이고, 거부 표현은 다양하므로 문자열 매칭 대신 LLM 심판으로 판정한다. 그런 뒤 유해 프롬프트의 거부율과 무해 프롬프트의 답변율을 계산하고 범주별로 나눠 약점을 찾는다. 이렇게 만든 평가는 새 모델이 나올 때마다 돌려 이전 모델과 비교할 수 있다.

RAG 시스템과 코딩 에이전트는 더 복잡하다. RAG에서는 '충실도(faithfulness)', 즉 답이 실제로 검색된 문서에 근거하는지 아니면 지어낸 것인지를 잰다. 심판 모델이 답의 각 주장을 뽑아 근거 문서가 뒷받침하는지 확인해 충실도 점수를 내지만, 이는 검색 품질 자체를 재는 것은 아니어서 별도 평가가 필요하다. 코딩 에이전트는 버그 리포트를 받아 코드를 고치는데, 실패하던 테스트가 통과하면 성공으로 판정하는 코드 기반 채점이 빛을 발한다. 이때는 LLM 심판이 필요 없고 결과가 코드 동작으로 확정되며, 해결률과 함께 에이전트가 밟은 단계 수나 소모한 연산량도 잴 수 있다. 이렇게 태스크·평가 데이터·채점기를 태스크마다 하나씩 만들어 모으면 자신만의 평가 시스템이 완성된다.

주요 인사이트

• 생성형 AI는 유창하게 들리면서도 완전히 지어낸 답을 낼 수 있어 '정답과 비교'만으로는 품질을 잴 수 없다. 그래서 정답이 필요 없는 평가(reference-free)가 중요해진다.
• 한 번에 모든 것을 시험하지 않고, '안전한 요청을 거부하는가'처럼 하나의 행동만 겨냥해 태스크를 나누는 것이 평가 설계의 출발점이다.
• 좋은 평가 데이터는 모델이 실패하기 쉬운 애매한 경계 사례에 집중해야 한다. 쉬운 입력만 모으면 약점이 드러나지 않는다.
• LLM을 심판으로 쓰면 주관적 품질도 잴 수 있지만, 심판 자체가 AI라 점수가 흔들릴 수 있어 신뢰할 수 있는 심판 모델과 사람 검증이 필요하다.
• 코딩 에이전트 평가는 테스트를 돌려 통과 여부로 판정할 수 있어 LLM 심판이 필요 없다. 평가 대상의 성격에 따라 채점 방식을 골라야 한다.

자주 묻는 질문

관련 AI 소식