LLM 지속 학습 실험: AI에게 꿈을 학습시켜 무한 기억 부여하기

핵심 메시지

• 머신러닝의 오랜 난제인 '지속 학습'은 전체 재훈련 없이 상호작용만으로 새 정보를 익히는 능력인데, 현재 LLM은 컨텍스트 창 안에 든 정보만 기억할 수 있다.
• 개발자는 대화를 그대로 훈련 데이터로 파인튜닝해봤지만, 예시가 하나뿐이고 기존 행동만 강화돼 실패했다.
• 2016년 논문 '예측 부호화로서의 REM 꿈'에서 착안해, 대화와 관련된 미래 상호작용을 '꿈'으로 합성해 훈련 데이터를 다양화하는 방식을 고안했다.
• 꿈으로 훈련하니 이름 같은 정보가 가중치에 저장돼 기억됐지만, 기존 능력이 망가지는 문제가 생겨 무작위 질문·답변으로 된 '그라운딩 데이터'를 섞어 해결했다.
• 여러 번 재우기를 반복하면 과거 꿈을 일부 무작위로 섞어주는 방식으로 6회 수면 후 기억 손실 0을 달성했지만, 안전 파인튜닝이 사라지는 등 심각한 한계가 남아 있다.

쉽게 이해하기

이 영상은 한 개발자가 컨텍스트 창 없이도 천 번 전 대화의 사소한 정보까지 기억하는 실험적 LLM을 만든 과정을 소개한다. 발표자는 이것이 유용한지 확신할 수 없는 개념 증명일 뿐이라고 분명히 밝히며, 원리와 장단점을 차례로 보여준다.

출발점은 지속 학습이라는 난제다. LLM은 컨텍스트 창 안의 정보만 고려할 수 있고 그 창은 무한하지 않다. 도구 사용이나 검색 증강 생성(RAG)은 우회책이지만, 모델이 실제로 그 지식을 '아는' 것과는 다르다. 반면 모델의 가중치에는 방대한 지식이 들어 있어, 대화 내용도 훈련 데이터처럼 가중치에 새길 수 있는지가 질문이 된다.

단순히 대화를 훈련 데이터로 삼아 파인튜닝하는 첫 시도는 실패했다. 예시가 하나뿐이라 패턴을 배우기 어렵고, 이미 하던 대로 응답하도록 강화할 뿐 새 정보를 넣지 못했기 때문이다. 발표자는 인간의 뇌가 경험을 기억에 통합하는 REM 수면에서 실마리를 찾는다.

핵심 아이디어는 '꿈'이다. 2016년 논문에 따라 꿈을 미래에 대한 예측이자 뇌가 스스로 만드는 합성 훈련 데이터로 보고, '내 이름은 갈'이라는 정보를 '내 이름이 뭐야?' 같은 다양한 미래 질문으로 변형해 학습시킨다. 개발자는 수작업 데이터셋을 큰 LLM으로 수십만 줄로 확장해 '꿈 생성기'를 만들었다.

파이프라인은 일반 대화를 몇 메시지마다 꿈으로 변환해 원래 모델을 파인튜닝하는 구조다. 이름·취향 같은 정보가 컨텍스트가 아닌 가중치에 저장되지만, 기존 능력이 붕괴되는 부작용을 그라운딩 데이터로 막고, 과거 꿈을 일부 재사용해 반복 수면에도 기억을 유지시킨다.

주요 인사이트

• 이 접근은 '모델이 구글에 접근할 수 있다고 해서 모든 지식을 가진 것은 아니다'라는 비유처럼, 외부 검색(RAG)과 가중치에 지식을 실제로 새기는 것의 차이를 실험으로 파고든다.
• 그라운딩 데이터셋을 섞는 방식은 새 기억을 통합하면서도 기존 지식을 지우지 않는 균형점을 찾은 사례로, 훈련 시마다 무작위 사실 몇 개를 함께 학습시키는 단순한 해법이 효과를 냈다.
• 발표자는 알고리즘의 명확한 한계를 솔직히 밝힌다. 안전 파인튜닝이 사라져 불법적 요청에도 응할 수 있고, 프롬프트로 특정 안전 기능을 끄는 '꿈 주입 공격' 가능성, 느리고 비싼 비용, 모델이 자신을 사용자로 착각하는 이상 현상 등이다.
• 인간의 꿈은 잠재 공간에서 일어나고 과거 꿈까지 고려하며 학습하는 반면, 이 실험의 꿈 생성기는 정적이고 텍스트 기반이라는 점에서 아직 인간 수면보다 비효율적이라고 발표자는 대비한다.

자주 묻는 질문

관련 AI 소식