모델 붕괴란 무엇인가: AI 생성 데이터로 재학습할 때 성능이 무너지는 이유와 연구 쟁점 정리

핵심 메시지

• 인터넷에 AI가 만든 콘텐츠가 늘어나면서, 앞으로의 학습 데이터에 AI 출력이 섞이는 일은 사실상 피할 수 없다.
• 자기 출력으로 다시 학습한 모델은 드문 사례를 잊고, 이전 세대의 오차를 증폭하며, 흔한 답을 더 흔하게 내놓는 방향으로 망가진다.
• 논문들이 서로 충돌하는 것처럼 보이는 이유는 '모델 붕괴'의 정의와 재학습 가정이 서로 다르기 때문이며, 두 가지를 정하면 이견은 크게 줄어든다.
• 진짜 사람이 만든 데이터를 버리지 않고 계속 쌓아 두면 성능이 발산하는 최악의 붕괴는 피할 수 있다는 연구 결과도 있다.
• 결국 검증된 사람 손으로 만든 고품질 데이터가 희소하고 값비싼 자원이 되며, AI 성능 향상 속도는 완만해질 가능성이 크다.

쉽게 이해하기

돈이 되는 곳에 콘텐츠가 몰리고, 가장 싸게 콘텐츠를 찍어내는 것은 이제 AI다. 그래서 인터넷에 올라오는 글과 이미지 가운데 사람이 직접 쓴 것의 비율은 시간이 갈수록 떨어질 수밖에 없다. 문제는 지금까지 AI 모델에게 '현실 세계'가 곧 인터넷이었다는 점이다. 영상은 이 상황을 자기 꼬리를 삼키는 뱀에 비유한다. 뱀은 먹이를 먹어야 길어지지, 자기 몸을 먹어서는 길어질 수 없다.

직관을 숫자로 옮기면 이렇다. 실제 데이터에 모델을 맞추고, 원래 데이터를 버린 뒤 그 모델에서 새 데이터를 뽑아내고, 다시 그 데이터로 새 모델을 학습시키는 과정을 반복한다. 세대가 거듭될수록 모델의 예측은 점점 좁고 확신에 차지만, 정확해지지는 않는다. 연구자들은 이렇게 자기 출력으로 학습해 성능이 무너지는 현상을 '모델 붕괴'라고 부른다.

영상의 핵심 주장은 논문들이 실제로는 그렇게 심하게 싸우고 있지 않다는 것이다. 갈리는 지점은 두 가지 질문이다. 첫째, 붕괴를 '조금이라도 성능이 떨어지는 것'으로 볼 것인가, 아니면 '실제 데이터와의 격차가 발산하는 것'으로 볼 것인가. 둘째, 미래의 재학습을 합성 데이터가 실제 데이터를 대체하는 과정으로 볼 것인가, 아니면 둘이 함께 쌓이는 과정으로 볼 것인가. 이 두 축이 만드는 네 칸 가운데 어느 칸에서 이야기하는지만 정하면 이견 대부분이 사라진다는 것이다.

논쟁을 촉발한 첫 논문은 대체·발산 쪽에 가까운데, 자동인코더 실험에서는 예측이 의미 없는 하나의 값으로 수렴해 버렸고 언어 모델은 드물지만 실제로 존재하는 표현을 잊고 오차가 누적된 가짜 표현을 만들어 냈다. 아홉 번째 세대에 이르면 모델은 입력을 사실상 무시하고 확률 높은 토큰만 반복해서 뱉어 냈다. 반면 '누적' 쪽 논문은 실제 데이터를 버리지 않고 합성 데이터에 계속 덧붙이면 시험 손실이 발산하지 않고 오히려 개선되기도 한다고 반박한다. 더 낮은 기준을 쓰는 또 다른 논문은 합성 데이터가 조금만 섞여도 편향-분산 분해에 양의 항이 하나 더 붙는다는 것을 증명하고, 데이터가 오염된 미래에는 스케일링 법칙 예측을 더 보수적으로 잡아야 한다고 주장한다.

해법은 아직 합의가 없다. 워터마크는 오탐과 미탐이 있고 지우기도 쉬우며 기업이 비밀로 유지할 가능성이 크다. 합성 데이터의 분포가 지나치게 좁아진 것을 되돌리자는 아이디어도 변동성을 정확히 측정할 수 없다는 한계에 부딪힌다. 발표자가 가장 현실적이라고 본 답은 위키백과나 스택오버플로, 책 스캔처럼 사람이 만든 고품질 데이터를 지켜 내는 일이다. 그는 검증된 진짜 데이터를 감별하고 인증하는 것 자체를 사업으로 삼는 회사가 등장해도 놀랍지 않다고 내다봤다.

주요 인사이트

• 같은 주제의 논문이 정반대 결론을 내는 것처럼 보일 때는, 결론보다 먼저 용어의 정의와 실험 가정을 비교해 보는 편이 빠르다. 모델 붕괴 논쟁이 딱 그런 사례다.
• '대체'와 '누적'의 차이는 결국 학습 예산 문제다. 실제 데이터를 계속 끌고 가려면 인터넷이 커지는 만큼 학습 연산도 커져야 하는데, 그 가정이 항상 성립하지는 않는다.
• 합성 데이터의 피해는 평균적인 답이 틀려지는 방식이 아니라, 드물지만 진짜인 사례가 사라지는 방식으로 나타난다. 평균 성능 지표만 보면 놓치기 쉬운 손상이다.
• AI 오염을 걸러 내는 기술적 해법이 모두 불완전하다면, 사람이 쓴 데이터를 원본 그대로 보존하는 아카이브의 가치는 앞으로 더 커진다.
• 발표자는 대형 기업들이 워터마크와 탐지기, 1차 데이터 제휴를 겹겹이 쌓아 방어할 것으로 보면서도, 그 결과 향후 몇 년간 성능 향상 폭은 얕아질 것이라고 전망했다.

자주 묻는 질문

관련 AI 소식