생성 모델 평가 지표 총정리: 로그가능도와 ELBO부터 FID·KID, 잠재표현 평가 방법까지

핵심 메시지

• 분류 모델은 정확도라는 단일 지표가 있지만, 생성 모델은 무엇에 쓰려는지에 따라 좋은 모델의 기준이 완전히 달라진다.
• 밀도 추정은 홀드아웃 로그가능도로 재는데, 자기회귀 모델과 정규화 흐름만 계산이 쉽고 VAE는 ELBO, 에너지 기반 모델과 GAN은 우회 기법이 필요하다.
• 로그가능도가 높다고 샘플이 좋은 것은 아니며, 두 지표가 어긋나는 극단적인 예시가 존재한다.
• 이미지 생성 논문의 사실상 표준 지표는 FID이고, 픽셀이 아니라 사전학습된 신경망의 활성값 공간에서 두 분포를 비교한다.
• 잠재표현 평가는 다운스트림 과제가 있을 때가 가장 쉽고, 없으면 클러스터링 지표나 압축률, 분해 정도로 간접 측정한다.

쉽게 이해하기

코넬대 CS 6785 강의는 새로운 모델을 소개하는 대신, 지금까지 배운 모델들을 언제 어떤 기준으로 고를지에 초점을 맞춘다. 강연자는 생성 모델 평가가 판별 모델 평가보다 훨씬 어렵다고 말한다. 판별 모델의 목표는 정확도 하나로 수렴하지만, 생성 모델은 밀도 추정과 샘플 생성, 표현 학습처럼 성격이 다른 과제를 동시에 떠안기 때문이다. 하나의 모델이 모든 과제에서 최고인 경우는 드물어서, 평가는 결국 관심 있는 과제를 먼저 정하는 데서 출발한다.

첫 번째 갈래인 밀도 추정은 데이터 분포와 모델 분포의 KL 발산을 줄이는 문제로 정의되고, 이는 최대가능도 학습과 같은 이야기가 된다. 그래서 학습·검증·테스트로 데이터를 나눈 뒤 테스트셋 로그가능도를 재는 것이 가장 원칙적인 평가가 된다. 문제는 이 값을 그대로 계산할 수 있는 모델이 많지 않다는 점이다. 자기회귀 모델과 정규화 흐름은 계산이 쉽지만, VAE는 ELBO라는 하한만 얻을 수 있고 에너지 기반 모델은 분배 함수 때문에 사실상 계산이 막힌다.

그래서 우회 기법이 등장한다. VAE 논문들은 ELBO를 로그가능도의 하한으로 표시해 보고하고, 더 정확한 값이 필요하면 중요도 샘플링으로 추정하며 학습된 인코더를 제안 분포로 활용한다. 에너지 기반 모델에는 분포를 노이즈에서 목표 분포로 서서히 식혀 가며 표본을 재활용하는 담금질 중요도 샘플링이 쓰인다. 샘플만 얻을 수 있는 모델이라면 각 표본에 커널을 얹어 밀도를 짐작하는 커널 밀도 추정이 남는데, 표본이 충분하면 참 밀도로 수렴하지만 필요한 표본 수가 차원에 지수적으로 늘어 고차원 이미지에서는 실용적이지 않다.

두 번째 갈래인 샘플 품질에서는 사람 평가가 비싸고 재현성이 떨어져 정량 지표가 쓰인다. 인셉션 스코어는 분류기가 생성 이미지를 자신 있게 분류하는지(선명도)와 여러 클래스가 고르게 나오는지(다양성)를 함께 본다. FID는 이미지를 사전학습 신경망의 활성값으로 옮긴 뒤 가우시안을 적합해 프레셰 거리를 재고, 값이 낮을수록 두 분포가 가깝다. KID는 같은 공간에서 최대 평균 불일치라는 두 표본 검정을 적용해 커널을 자유롭게 고를 수 있고 추정량이 편향되지 않는 대신 계산량이 표본 수의 제곱으로 늘어난다.

세 번째 갈래는 잠재변수 품질이다. 준지도학습처럼 뚜렷한 다운스트림 과제가 있으면 그 성능을 그대로 재면 되고, 강연자는 GAN의 중간 활성값을 표현으로 쓴 연구가 적은 수의 라벨만으로 낮은 오류율을 냈다고 소개한다. 과제가 없을 때는 잠재공간의 군집을 라벨과 대조해 동질성과 완전성, 둘의 조화평균인 V-measure로 평가하거나, 픽셀당 비트 같은 압축률을 재거나, 나이와 피부색처럼 사람이 이해하는 변화 요인이 축마다 분리됐는지(분해)를 본다.

주요 인사이트

• 평가 지표를 고르는 일은 사실상 모델의 용도를 선언하는 일이다. 강의가 밀도 추정·샘플 품질·잠재표현을 따로 다루는 이유도 하나의 숫자로 줄일 수 없기 때문이다.
• 로그가능도와 샘플 품질이 어긋나는 예시가 인상적이다. 데이터 분포에 노이즈를 크게 섞은 모델은 샘플이 엉망이지만, 고차원에서는 로그가능도 손해가 상수에 그쳐 비율상 거의 티가 나지 않는다. 반대로 학습 데이터를 통째로 외운 모델은 샘플은 그럴듯해도 테스트 데이터에 0의 확률을 준다.
• FID가 픽셀 대신 활성값 공간을 쓰는 이유는 명확하다. 이미지를 한 픽셀만 옮겨도 픽셀 공간의 거리는 크게 벌어지지만, 합성곱 신경망의 활성값은 의미가 비슷하면 비슷하게 유지되기 때문이다.
• 강연자는 어떤 지표도 완벽하지 않다고 인정하면서도, FID가 로그가능도보다 사람이 느끼는 이미지 품질과 더 잘 맞아 왔다고 평가한다. 지표를 맹신하지 말되 비교의 기준선으로는 쓸 만하다는 뜻이다.
• 군집 평가에서 모든 점을 한 덩어리로 묶으면 완전성이, 점마다 군집을 만들면 동질성이 최대가 된다. 정밀도와 재현율의 상충과 같은 구조여서 조화평균으로 합치는 방식도 F1 점수와 닮았다.

자주 묻는 질문

관련 AI 소식