컨텍스트에 컴퓨트 쏟기, 공개 데이터 한계를 넘으려는 지속 학습 연구의 현재와 벽

핵심 메시지

• 딥러닝을 밀어올린 세 축(데이터·컴퓨트·모델 크기)은 모두 공개 데이터 위에서만 작동해, 내 메일이나 회사 문서에는 적용되지 않는다.
• 내 데이터는 양이 고정돼 있고 처음부터 학습시킬 수도 없으니, 남는 확장 축은 컴퓨트 하나뿐이다.
• 1만 건의 재무 보고서를 그대로 학습시키면 손실은 0.00001까지 떨어지지만, 생성을 시키면 모델이 무너진다.
• KV 압축·온폴리시 증류·합성 데이터 사전학습·비지도 강화학습 모두 결국 데이터셋을 다 배우고 나면 포화한다.
• 알파고처럼 모델이 좋아질수록 스스로 더 어려운 학습 문제를 만들어 내는 자기개선 구조가 남은 열쇠다.

쉽게 이해하기

AI 엔지니어 콘퍼런스 무대에 오른 잭 모리스는 최근 창업한 엔그램(Engram)의 연구 방향을 '컨텍스트에 컴퓨트를 확장하는 일'로 요약했다. 그는 수학자 테런스 타오의 이야기로 문을 열었다. 오늘날 모델은 공개된 수학 주제를 거의 다 알고 사람이 잇지 못하는 문헌 사이의 연결을 찾아내지만, 한 분야에서 5년을 보낸 대학원생이 갖는 직관 같은 깊이는 없다는 것이다.

그가 보는 문제의 뿌리는 단순하다. 모델은 학습이 끝난 뒤에 벌어진 일을 모르고, 공개 자료가 적은 영역의 기술도 잘 익히지 못한다. 강연에서 든 예가 AMD GPU 커널 작성이었다. 공개된 좋은 커널이 많지 않으니 사전학습으로는 좀처럼 습득되지 않는다는 것이다. 무엇보다 챗GPT 같은 모델은 공개 데이터로 학습되기 때문에, 유명인이 아닌 이상 사용자 개인에 대해서는 아는 게 없다.

확장의 세 축은 데이터를 늘리고, 더 오래 학습시키고, 모델을 키우는 것이다. 그런데 내 회사 문서나 내 메일을 상대로는 데이터를 새로 만들어 낼 수 없고, 바깥 세상 지식이 필요하니 처음부터 학습시키는 선택지도 사라진다. 결국 손에 남는 축은 컴퓨트 하나뿐이며, 이것이 강연 제목이 된 개념이다. 모리스는 같은 문제가 지속 학습, 수면 시간 컴퓨트, 신경 메모리, 노트 필기, 학습(studying) 등 제각각의 이름으로 불리는 것 자체가 이 분야가 아직 초기라는 증거라고 말했다.

그는 시도해 볼 만한 방법들을 차례로 세우고 각각이 어디서 멈추는지 보여 줬다. 데이터를 그대로 다음 토큰 예측으로 학습시키면 손실은 바닥까지 떨어지지만 생성 품질이 무너진다. 코딩 에이전트가 쓰는 것과 비슷한 KV 압축은 애초에 컨텍스트에 들어가는 분량에만 통하고 경사(gradient)가 주는 이점을 놓친다. 온폴리시 증류는 원문을 그대로 증류할 수 없어 질문·답변 쌍을 따로 만들어야 하고, 합성 데이터로 사전학습을 흉내 내는 방식은 기존 사전학습을 덮어쓰는 데다 이후 사후학습을 다시 해야 한다.

모리스가 지적한 공통의 벽은 고전적인 기계학습의 사정과 같다. 학습할 데이터셋을 정의하는 순간 언젠가는 그 데이터를 다 배우고 성능이 평평해진다는 것이다. 그는 창업 초기에 아무리 데이터를 만들어도 평평해지는 곡선을 얻었다고 털어놨고, 학습 난도를 점점 높이는 더 정교한 방법을 쓰면 곡선이 계속 올라간다고 덧붙였다. 알파고가 스스로 강해지면서 더 어려운 문제를 만들어 낸 것처럼, 컴퓨트를 부으면 부을수록 내 데이터에 대한 이해가 깊어지는 구조가 목표다.

주요 인사이트

• '모델이 데이터를 안다'는 말의 기준이 아직 합의되지 않았다는 점이 이 분야에 여러 접근이 공존하는 이유다. 강연에서도 안다(know)는 단어가 가장 많은 무게를 지는 말로 지목됐다.
• 손실이 0에 수렴하는 것과 쓸모 있는 모델이 되는 것은 별개다. 데이터를 완벽히 외운 모델이 생성에서 붕괴한 사례가 그 간극을 보여 준다.
• 실무에서는 데이터가 생각만큼 고정돼 있지 않다. 교재 하나를 공부할 때 다른 책을 찾고 검색하고 아는 사람에게 묻듯, 주변 자료를 끌어와 학습 재료를 넓힐 여지가 있다.
• 개인화의 최종 그림은 검색 강화가 아니라 모델이 사용자에 대한 내부 모형을 스스로 갱신하는 상태다. 강연은 그 곡선이 평평해지지 않고 계속 올라가는 그래프를 목표로 제시했다.

자주 묻는 질문

관련 AI 소식