생성 AI 모델 평가의 어려움: 벤치마크 한계와 LLM 심판 방식을 딥마인드 연구자에게 듣다

핵심 메시지

• 벤치마크를 새로 만드는 연구는 많지만, 그 벤치마크가 정말 목표한 능력을 재고 있는지 입증하는 작업은 자주 빠져 있다.
• 모델이 워낙 여러 일을 잘하게 되면서 평가 설계 자체가 어려워졌고, 그만큼 평가 연구의 중요성이 커졌다.
• 멀티모달 학습에서는 데이터 양보다 이미지와 문장이 정확히 대응하는 '깨끗한 데이터'가 더 유용했다.
• 이미지 생성 모델은 개수 개념에 약한데, 학습 데이터에 정확한 수량 표현이 거의 없다는 점이 원인 중 하나다.
• 모델을 심판으로 쓰는 평가는 만능이 아니다. 사람끼리도 의견이 갈리는 주관적 과제에서는 분포 자체가 사라진다.

쉽게 이해하기

구글 딥마인드의 선임 연구 과학자 아이다 네마트자데(Aida Nematzadeh)는 멀티모달 모델의 평가 방법을 만들고, 모델이 무엇을 학습했는지 분석해 실패 지점을 찾는 일을 한다. 토론토대에서 아이들의 언어 습득을 계산 모델로 연구한 배경이 지금 연구 방식에 그대로 남아 있다. 인지과학자들에게 배운 것은 데이터의 품질, 데이터를 모으는 방법, 그리고 실험 설계와 통제 조건을 먼저 갖춘 뒤에야 결론을 말한다는 태도였다.

그는 평가가 왜 갑자기 어려운 문제가 됐는지 설명한다. 모델이 여러 능력을 동시에 잘하게 되면서, 무엇을 어떻게 물어야 실제 능력을 구분할 수 있는지가 불분명해졌다. 그러면서 지적하는 빈틈이 있다. 새 데이터셋을 만들고 '이것이 특정 능력을 측정한다'고 선언하는 연구는 많은데, 그 벤치마크가 정말 그 능력의 좋은 대리 지표인지 보이는 작업은 대체로 생략된다는 것이다.

멀티모달 아키텍처 연구에서는 두 가지 결과가 눈에 띈다. 이미지와 언어가 서로를 향해 양방향으로 주의를 주고받는 구조가 한쪽 방향만 있는 구조보다 나았다. 그리고 데이터에서는 규모보다 정합성이었다. 이미지와 설명문의 대응이 정확한 작고 깨끗한 데이터셋이 큰 데이터셋보다 유용했고, 학습 데이터의 언어가 목표 과제의 언어와 비슷할수록 성능이 좋았다.

이미지 생성 모델이 개수를 못 세는 문제도 데이터 관점에서 풀어낸다. 사람들은 사진 설명을 쓸 때 대상의 정확한 개수를 거의 적지 않는다. '몇 개', '많은', '한 무더기' 같은 표현이 대부분이라 모델이 정확한 수량 개념을 배울 재료 자체가 부족하다. 게다가 '적은'과 '많은'은 대상에 따라 기준이 달라지는 모호한 표현이어서, 맥락에 따라 해석을 달리하는 능력까지 요구된다.

모델을 평가자로 쓰는 방식에 대해서는 조건부 찬성이다. 그는 자신들의 이미지 생성 평가 연구에서 생성 모델 평가자를 만들되, 사람 판단과 비교해 어떤 과제에서는 믿을 수 있고 어떤 과제에서는 믿을 수 없는지를 함께 보였다고 말한다. 특히 사람끼리도 합의가 어려운 주관적 과제에서는 평가자를 하나로 두는 순간 그 편차 자체가 사라진다는 점을 문제로 짚는다.

주요 인사이트

• 벤치마크 개발에서 정말 부족한 것은 새 데이터셋이 아니라 '이 데이터셋이 그 능력을 잰다'는 것을 입증하는 후속 작업이다.
• 일반화를 테스트하려면 벤치마크 문항이 학습 데이터에 없다는 점이 보장돼야 하는데, 모델이 블랙박스일수록 이 검증은 어려워진다.
• 인지과학의 실험 설계 관습(통제 조건, 데이터 수집 방법의 명시)을 가져오면 평가 연구의 결론이 훨씬 단단해진다.
• 심리학의 마음이론 과제를 AI 평가에 옮겨온 사례처럼, 인간 발달 연구는 새로운 평가 과제의 좋은 원천이 된다.
• 학계와 산업 연구의 차이는 우열이 아니라 구성이다. 산업에서는 강의·연구비 신청·행정이 줄어드는 대신 학생 지도 경험이 줄어든다.

자주 묻는 질문

관련 AI 소식