AI 생성 데이터와 모델 붕괴 이론, 원본 데이터가 남아 있으면 성능이 무너지지 않는 이유

핵심 메시지

• 인터넷에서 긁어모은 학습 데이터에 AI가 생성한 데이터가 섞이면서, 모델이 자기 출력으로 다시 학습되는 되먹임 고리가 실제로 형성됐다.
• 기존 데이터를 합성 데이터로 완전히 대체하면 모델 붕괴는 쉽게 증명되지만, 원본 데이터가 남고 합성 데이터가 누적되는 현실적 설정에서는 이야기가 달라진다.
• 발표자 연구진은 최대우도추정이 원래 잘 작동하는 고전적 조건만 만족하면 반복이 아주 많아져도 성능 저하가 상수 배에 그친다는 결과를 얻었다.
• 붕괴가 일어나는 반례는 존재하지만 매우 인위적이며, 자연스러운 분포에서 붕괴가 일어나는 예는 아직 알려지지 않았다.
• 강연 후반부는 경사 기반 학습의 실패를 통계적 질의 프레임워크 없이 표준 SGD 자체로 설명하려는 시도를 다룬다.

쉽게 이해하기

강연은 서로 직접 이어지지 않는 두 개의 짧은 발표로 구성된다. 공통점을 찾자면 둘 다 최근의 문제의식을 아주 고전적인 학습이론·통계학 도구와 연결한다는 점이다. 첫 번째 주제는 인터넷을 뒤덮은 AI 생성 데이터, 이른바 'AI 슬롭'이 다음 세대 모델의 성능을 갉아먹는다는 모델 붕괴 문제다.

발표자는 논의를 최대우도추정이라는 표준적인 틀로 옮긴다. 어떤 실제 세계의 참 분포가 있고, 거기서 나온 데이터로 모델을 학습한 뒤 그 모델이 다시 데이터를 만들어 내는 과정을 반복하는 구조다. 여기서 데이터를 어떻게 다루느냐가 결정적이다. 매 회차에 합성 데이터로 기존 데이터를 완전히 갈아치우면 붕괴는 간단히 보일 수 있다. 일변량 정규분포의 분산만 추정해도 표본분산에 붙는 축소 인자가 매 회차 곱해져 분산 추정치가 지수적으로 0에 수렴한다.

그러나 현실은 다르다. 모나리자 사진이 인터넷에서 사라지지는 않는다. 원본 데이터는 남고 합성 데이터가 그 위에 계속 쌓여 비중이 희석되는 누적 모형이 더 사실에 가깝다. 이 설정의 선행 이론 연구는 다루기 쉬운 특정 분포족에 한정돼 있었고, 표본 수는 고정한 채 반복 횟수만 늘어나는 구간, 즉 시간이 갈수록 데이터가 합성물에 잠식되는 바로 그 상황은 열려 있었다.

연구진의 결론은 상당히 안심되는 쪽이다. 최대우도추정이 애초에 일관성을 갖기 위해 필요한 고전적 조건, 이를테면 로그 가능도의 매끄러움과 피셔 정보 행렬의 비퇴화 같은 조건만 있으면 특별한 분포족을 가정하지 않아도 된다. 반복 횟수가 표본 수에 대해 지수적으로 크지만 않다면, 여러 번 반복한 뒤의 오차가 원본 데이터로만 학습한 첫 회차와 상수 배 안에서 비교된다는 것이다. 증명은 손실을 전개하고 매 회차 추정치가 지금까지 모은 데이터에 대한 정류점이라는 성질을 이용해 전체 분산이 유계인 마팅게일 구조를 얻는 방식이라고 소개된다.

두 번째 발표는 경사 기반 학습이 언제 왜 실패하는지를 다룬다. 불리언 입력에서의 패리티 함수는 가우스 소거법으로 효율적으로 풀리지만, 표준 신경망과 경사법으로는 차원이 조금만 커져도 학습되지 않는 고전적 예다. 통상적인 설명은 통계적 질의 프레임워크에 기댄다. 그런데 발표자는 이 틀을 SGD에 그대로 적용하는 데 무리가 있다고 본다. 통계적 질의의 하한은 잡음에 적대적이거나 특정한 구조를 가정하는데, 실제 SGD의 잡음은 표본에서 계산한 경사와 기대값의 차이일 뿐 적대적이지도 등방적이지도 않기 때문이다.

주요 인사이트

• 모델 붕괴 논쟁의 결론이 엇갈렸던 이유는 실험 대상이 달라서가 아니라 데이터 오염 모형이 달랐기 때문이다. 대체 모형과 누적 모형은 결과가 정반대로 갈린다.
• 이론적으로 붕괴가 나타나지 않는다는 결과는 합성 데이터가 무해하다는 뜻이 아니다. 발표자는 일정한 성능 저하가 발생하되 그 크기가 상수 배에 머문다는 점을 강조하며, 정확도 손실 자체를 정량화하는 문제는 남아 있다고 말한다.
• 붕괴 반례를 찾는 일이 예상보다 훨씬 어려웠다는 점이 흥미롭다. 표준 도구상자에 있는 분포들로 실험하면 초기에 성능이 조금 떨어지다가 빠르게 평평해질 뿐이었고, 결국 지지집합을 인위적으로 조작한 구성으로만 붕괴를 만들 수 있었다.
• 합성 데이터를 걸러내는 완벽한 필터는 기대하기 어렵다는 전제 아래, 부분적인 필터만 있을 때 무엇을 할 수 있는지가 실질적인 연구 과제로 남는다. 특히 남의 모델이 만든 데이터는 워터마크로도 걸러내기 어려운데, 그 경우 오히려 도움이 될 가능성도 함께 거론된다.
• SGD가 패리티를 못 배우는 것이 알고리즘의 본질적 한계가 아니라 구조와 초기화에 달린 문제라는 점은 중요하다. 아주 특이한 구조나 초기화를 쓰면 학습이 가능하다는 사실이 통계적 질의 기반 설명의 한계를 드러낸다.

자주 묻는 질문

관련 AI 소식