모델 붕괴란 무엇인가 - AI가 AI 데이터로 학습할 때 현실을 잊는 이유와 대응법

핵심 메시지

• 모델 붕괴는 AI가 다른 AI가 만든 데이터를 반복해서 학습하면서 원래 배웠던 현실의 분포를 잃어버리는 퇴행 현상이다.
• 붕괴는 두 단계로 진행된다. 초기에는 희귀한 사례부터 사라지고, 후기에는 출력 자체가 반복적이고 일반적인 문장으로 수렴한다.
• 가장 위험한 지점은 성능이 눈에 띄게 무너지는 게 아니라, 문장은 여전히 유창한데 사실성만 조용히 떨어진다는 점이다.
• 옥스퍼드·케임브리지 등의 연구는 통제된 실험 환경에서 이 현상을 확인했지만, 실제 산업 현장에서 전면적인 붕괴가 진행 중인 것은 아니다.
• 해법의 핵심은 사람이 만든 진짜 데이터를 계속 섞어 넣고, 데이터의 출처를 추적하며, 검증된 합성 데이터만 골라 쓰는 것이다.

쉽게 이해하기

영상은 모델 붕괴를 설명하며 학생 비유를 든다. 새로운 학생 세대가 원본 교과서는 한 번도 펼치지 않고 앞 세대가 남긴 필기만 보고 공부한다고 해보자. 첫 세대의 작은 실수가 다음 세대에 그대로 넘어가고, 몇 세대만 지나면 원래 사실이 무엇이었는지 아무도 기억하지 못한다. 여기서 학생을 AI 모델로, 필기를 AI가 생성한 콘텐츠로, 교과서를 사람의 지식으로 바꾸면 그것이 바로 모델 붕괴다.

연구자들은 이를 '퇴행 과정'이라고 정의한다. 합성 출력물이 점점 다음 세대의 학습 데이터를 오염시키고, 그 결과 모델이 원래 학습했던 실제 세계의 분포에 대한 정보를 잃는다는 것이다. 복사본을 복사하는 상황과 비슷하다. 첫 복사본은 멀쩡하고 열 번째는 흐릿해지며 백 번째는 원본과 거의 닮지 않는다. 세대마다 정보 누락, 단순화된 패턴, 환각, 통계적 편향 같은 작은 결함이 하나씩 얹히고, 다음 모델이 그 출력을 학습하면 결함이 누적된다.

왜 하필 희귀한 정보부터 사라질까. 영상은 지식의 종 모양 분포로 설명한다. 흔한 사실은 곡선 가운데에, 드문 사실은 양쪽 꼬리에 놓인다. 강아지나 피자, 뉴욕을 다루는 문서는 수백만 건이지만 토착 언어나 잘 알려지지 않은 역사적 사건, 특수한 과학적 발견을 다루는 문서는 훨씬 적다. AI가 합성 데이터를 만들 때는 확률이 높은 정보를 더 자주 재생산하므로 꼬리 부분이 압축되고, 그 안에 있던 다양성이 먼저 지워진다.

구체적인 예로 이미지 모델을 든다. 원본 데이터셋에 강아지 사진 10만 장, 고양이 사진 10만 장, 그리고 알비노 공작 사진이 500장 있다고 하자. 첫 모델은 셋 다 학습한다. 그런데 다음 세대가 주로 이 모델이 만든 이미지로 학습하면, 드문 알비노 공작은 생성 빈도가 낮아 다음 세대에는 더 적게 보이고, 그다음 세대에는 거의 보이지 않는다. 결국 모델은 알비노 공작이 애초에 존재하지 않았던 것처럼 행동한다. 현실이 변한 게 아니라 현실에 대한 모델의 표상이 변한 것이다.

그렇다면 모델 붕괴는 이미 벌어지고 있을까. 영상의 답은 '정확히 그렇지는 않다'이다. 주요 AI 기업들은 AI 출력물을 날것 그대로 학습에 쓰지 않고 사람의 피드백, 선별된 데이터셋, 검색 증강 생성(RAG), 데이터 필터링과 품질 관리 파이프라인을 함께 쓴다. 가장 파국적인 시나리오들은 현실적이지 않은 학습 관행을 가정한다는 반론도 있다. 다만 그 기저의 메커니즘 자체는 실험으로 검증된 사실이며, 당장의 재난이라기보다 장기적인 공학 과제로 보는 편이 정확하다.

주요 인사이트

• 붕괴가 무서운 이유는 성능 저하가 요란하지 않기 때문이다. 문법은 여전히 훌륭하고 어조도 자신만만한데 사실적 신뢰도만 떨어지는 '지식 붕괴'는 겉으로 드러나는 실패가 아니라서 훨씬 잡아내기 어렵다.
• 작은 편향은 세대를 거치며 굳어진다. 초기 모델이 특정 문화나 언어, 인구 집단을 조금 적게 반영하면 다음 모델이 그 왜곡을 학습하고 증폭한다. 소수 언어와 특수 지식 분야를 두고 연구자들이 걱정하는 이유가 여기에 있다.
• 합성 데이터 자체가 적이 아니고 품질이 낮은 합성 데이터가 문제다. 검증, 다양성 확보, 외부 근거 연결, 사람의 검수를 거친 합성 데이터셋은 오히려 붕괴 위험을 크게 낮춘다는 연구 결과가 있다.
• 가장 효과적인 방어는 의외로 단순하다. 사람이 만든 진짜 데이터를 꾸준히 주입하는 것이다. 비교적 적은 양이라도 모델을 현실에 붙들어 매고 원래의 분포를 보존하는 데 도움이 된다. 나침반을 주기적으로 재보정하는 일에 가깝다.
• 앞으로 AI의 향방을 가르는 것은 더 큰 모델이나 더 많은 GPU가 아닐 수 있다. AI와 현실 세계 사이의 믿을 만한 연결을 유지할 수 있느냐는, 훨씬 근본적인 질문이 관건이 된다.

자주 묻는 질문

관련 AI 소식