지속 학습 AI 8가지 예측: 배포가 곧 학습이 되면 규제·정렬·기업 록인이 어떻게 바뀌나

핵심 메시지

• 세션마다 메모만 넘겨받는 방식으로는 사람만큼 일을 해내는 AI가 나올 수 없고, 경험이 모델 자체에 쌓여야 한다.
• 학습이 끝난 뒤 배포한다는 전제가 무너지면 '출시 직전 안전성 검사'라는 규제 설계도 의미를 잃는다.
• 고정된 가중치가 잘 작동하는지 확인하는 지금의 정렬 연구는, 가중치가 매일 바뀌는 상황에 그대로 적용되지 않는다.
• 배포가 곧 학습이 되면 앞선 기업이 더 빨리 앞서가고, 내부 모델을 몇 달씩 감춰두는 전략은 불가능해진다.
• 사용 이력이 모델에 축적되면 전환 비용이 생겨, AI 기업이 그동안 갖지 못했던 방어막이 만들어진다.

쉽게 이해하기

발표자는 색소폰 비유로 이야기를 연다. 한 학생이 연습실에 들어가 실패하고 메모를 남기면 다음 학생이 그 메모를 읽고 들어가는 식으로 무한히 반복해도, 어떤 학생도 첫 시도에 색소폰을 제대로 불 수는 없다는 것이다. 지금의 AI가 세션 사이에 파일로 메모를 주고받는 방식이 정확히 이 구조이며, 실제 업무 능력은 어느 시점엔 모델 안에 경험으로 쌓여야 한다는 주장이다.

그래서 그는 지금 시점에 안전 규제 체계를 고정하는 것을 우려한다. 현재 제안된 규제 상당수는 '모델을 학습시킨 뒤 배포한다'는 전제 위에 서 있어서, 배포 전에 검사만 잘 하면 위험을 막을 수 있다고 본다. 그러나 모델이 하루에 수백만 건의 작업 세션에서 매일 개선된다면 학습 종료와 배포 시작 사이의 특별한 순간 자체가 사라진다. 그는 정부가 안전성을 확인하려 한다면 그런 한 시점을 잡기보다 월 단위나 분기 단위의 위험 점검이 더 맞는 방식이라고 본다.

기술적 정렬 연구도 방향을 바꿔야 한다고 말한다. 지금 연구는 대부분 '얼어붙은 가중치'가 배포 중에 얌전히 행동하도록 만드는 문제에 집중돼 있는데, 가중치가 계속 갱신되는 상황에서도 탈옥이나 기만적 성격 변화가 일어나지 않게 하는 방법은 거의 연구되지 않았다는 것이다. 여러 사용자의 학습 내용이 기본 모델로 합쳐진다면 사용자가 악의적 성향이나 백도어를 역으로 주입하는 문제도 새로 생긴다. 그는 이것이 사실상 인간의 정렬 문제와 같다고 표현한다.

경쟁 구도에 대한 예측도 이어진다. 배포가 학습의 일부가 되면 앞서 있는 기업일수록 더 많은 사용자에게 더 복잡한 일을 시키고 그만큼 더 나은 피드백을 받아 격차를 벌린다. 동시에 기업들은 가장 좋은 모델을 더 일찍 내보내야 한다는 압박을 받는다. 발표자는 한 기업이 2월부터 내부적으로 쓰던 모델을 6월에야 공개한 사례를 들며, 지속 학습 체제에서는 내부와 외부 배포 사이에 넉 달의 간격을 두고도 경쟁력을 유지하는 일이 불가능하다고 본다.

수익 구조 이야기는 클라우드 사업과의 비교로 전개된다. 클라우드 마진이 높은 이유는 서비스가 특별해서가 아니라 갈아타는 데 시간과 비용이 많이 들기 때문인데, 지금은 한 코딩 도구로 시작한 작업을 다른 도구로 옮겨 마무리해도 아무 손해가 없다. 하지만 모델이 나와의 상호작용을 통해 실제로 좋아지고 있다면 도구를 바꾸는 일은 몇 달치 맥락을 쌓은 직원을 해고하고 신입을 처음부터 가르치는 일과 같아진다. 그는 이런 록인이 생기면 모델 제공자가 상당한 마진을 요구할 수 있게 된다고 본다.

마지막 두 항목은 데이터 확보와 규모의 경제다. 기업들은 록인을 피하려 하겠지만, 세션 학습을 허용하지 않으면 모델이 나를 위해 좋아지는 기능을 포기해야 하는 선택에 몰린다. 그래서 AI 기업들은 학습을 허용하는 사용자에게 보조금을 주거나, 반대로 학습을 거부하는 기업에는 최상급 모델을 주지 않는 방식으로 당근과 채찍을 쓸 수 있다. 또한 개인화된 가중치를 효율적으로 서비스하려면 수천 개의 요청을 한꺼번에 묶어 처리해야 하는데, 이는 사람과 에이전트가 많은 대기업에 유리하고 배치 크기 1로 돌리는 개인 사용자에게는 매우 불리하다.

주요 인사이트

• 규제 논의의 핵심 쟁점이 '무엇을 검사할 것인가'에서 '언제 검사할 것인가'로 옮겨간다. 배포 직전이라는 시점이 사라지면 정기 점검 같은 다른 설계가 필요해진다.
• 지속 학습은 안전 측면에서 위험만 키우는 것이 아니다. 회사마다 인스턴스마다 경험이 달라지면 지금처럼 소수의 비슷한 모델이 세상을 지배하는 구조가 완화될 수 있다.
• AI 기업의 수익성 문제에 대한 답이 기술이 아니라 전환 비용에서 나올 수 있다. 축적된 맥락 자체가 해자가 되는 구조다.
• 학습 데이터 확보 경쟁이 요금 정책의 형태로 나타난다. 코딩 도구의 파격적인 신규 사용자 혜택은 검색을 무료로 제공하는 것과 같은 논리로 읽힌다.
• 개인화된 모델 운영의 경제성은 조직 규모에 강하게 좌우된다. 같은 기능이라도 개인 사용자와 대기업이 체감하는 비용 효율은 두 자릿수 배 이상 벌어질 수 있다.

자주 묻는 질문

관련 AI 소식