ChatGPT 기억 원리 정리 — 컨텍스트 창 확장과 메모리 기능, 통합 메모리까지의 변화

핵심 메시지

• 같은 대화창 안의 기억은 저장이 아니라 이전 대화를 매번 통째로 다시 넘겨 주는 방식으로 작동한다.
• 한 번에 받아들일 수 있는 정보량에는 한계가 있어서, 예전에는 같은 대화창에서도 앞선 내용을 잊는 일이 잦았다.
• 수용량은 2020년 약 2,000토큰에서 2023년 약 8,000토큰, 2024년 약 12만 토큰, 2025년 약 100만 토큰으로 늘었다.
• 다른 대화창에서도 나를 알아보는 것은 2024년 2월 도입된 메모리 기능 덕분이며, 초기에는 사용자가 직접 기억하라고 시켜야 했다.
• 2025년 4월 통합 메모리는 저장된 메모리에 더해 과거 대화 전체에서 만들어 낸 인사이트까지 답변에 결합한다.

쉽게 이해하기

영상은 ChatGPT가 이름이나 취미, 예전에 흘리듯 말한 정보까지 꺼내 놓아 놀란 경험에서 출발한다. 진행자 역시 자기보다 자기를 더 잘 아는 것 같은 느낌을 받았다고 말하며, 개인화된 답변이 어떤 구조에서 나오는지를 단기기억과 장기기억으로 나눠 설명한다. 원리를 알면 도구를 더 잘 쓸 수 있다는 것이 영상의 취지다.

먼저 같은 대화창 안의 기억이다. 흔히 ChatGPT가 앞선 대화를 저장해 둔다고 생각하지만, 실제로는 질문할 때마다 그 대화창에서 오간 내용을 전부 함께 넘겨 주고 답을 받는 구조에 가깝다. 그래서 대화가 길어지면 앞부분을 잊는 듯한 현상이 나타났는데, 진행자는 이를 아이폰의 저장 용량에 빗대어 한 번에 받아들일 수 있는 정보량에 한계가 있기 때문이라고 설명한다.

그 수용량은 빠르게 커졌다. 2020년 GPT-3 시절에는 약 2,000토큰, 2023년에는 약 8,000토큰이었고, 2024년에는 약 12만 토큰, 2025년 현재는 약 100만 토큰까지 늘었다. 토큰은 글자 수와 정확히 같지는 않지만 대체로 비례한다고 이해하면 된다는 설명도 붙는다. 대화가 길어져도 예전만큼 앞의 내용을 놓치지 않게 된 이유다.

정작 사람들이 놀라는 지점은 다른 대화창에서 말한 적 없는 정보를 꺼내 놓을 때다. 이는 2024년 2월 처음 나온 메모리 기능에서 비롯됐다. 다만 초기에는 사용자가 '나는 누구다, 기억해 줘'처럼 명시적으로 시켜야 저장됐고, 이를 잘 활용하는 사람만 새 대화창에서도 자기 정보를 이어 쓸 수 있었다. OpenAI는 당시 사용자가 반복해 말하는 내용이나 AI가 기억할 만하다고 판단한 내용을 자동으로 담는 방향으로 확장하겠다고 밝혔고, 그 기능은 2024년 9월 무렵 나왔다.

2025년 4월에는 통합 메모리가 더해졌다. 사용자가 직접 넣거나 모델이 저장한 메모리뿐 아니라, 과거 대화 내역을 토대로 모델이 스스로 인사이트를 만들어 두고 답변할 때 이 둘을 결합한다는 것이다. 진행자는 유튜브 대본과 조명·카메라 설정을 자주 묻다 보니 자신이 유튜버라는 사실이 메모리에 저장돼 있었다는 경험을 예로 든다. 대화를 많이 할수록 답이 자기에게 맞춰진다는 것이 이 구조의 결론이고, 그는 언젠가 영화 속 자비스 같은 개인비서로 발전하리라는 기대로 영상을 맺는다.

주요 인사이트

• '기억한다'는 표현 안에 성격이 다른 두 가지가 섞여 있다. 대화창 안에서 매번 다시 읽어 주는 단기기억과, 대화창을 넘어 남는 메모리는 작동 방식도 지워지는 방식도 다르다.
• 컨텍스트 창이 500배 가까이 커진 것은 성능 향상이라기보다 사용 경험 자체를 바꾼 변화다. 긴 대화를 잘라 다시 설명해야 했던 습관이 필요 없어졌다.
• 메모리는 사용자가 직접 지시하는 단계에서 모델이 알아서 판단하는 단계로 옮겨 갔다. 편리해진 만큼 무엇이 저장됐는지 사용자가 모르는 채 쌓일 수 있다는 뜻이기도 하다.
• 통합 메모리는 저장된 사실뿐 아니라 모델이 대화에서 뽑아낸 해석까지 답변에 섞는다. 개인화의 재료가 내가 말한 내용에서 나에 대한 추론으로 확장된 셈이다.

자주 묻는 질문

관련 AI 소식