AI 캐릭터 드리프트 실험: AI가 AI를 훈련시킬 때 모델의 성격과 가치는 어디로 가나

핵심 메시지

• 이미 지금도 데이터 선별, AI 피드백 기반 강화학습, 평가 채점, 코드 작성까지 AI가 다음 세대 모델 학습에 깊숙이 관여한다. 즉 '모델 N이 모델 N+1을 훈련하는' 구조가 굳어지고 있다.
• 연구진은 프런티어 모델(Claude Opus, GPT-5.5 등)을 자율 에이전트로 세워 샌드박스 안에서 소형 오픈웨이트 모델의 '성격을 개선하라'는 열린 과제를 4시간 동안 맡기고, 전후를 비교했다.
• 성격은 따뜻함·직설성·아첨 등 30가지 특성으로 쪼개 다른 모델이 채점하게 했다. 결과적으로 한 모델의 성격은 30차원 벡터로 표현된다.
• 감독 모델이 Claude냐 GPT-5.5냐에 따라 학생 모델이 도착하는 지점이 달랐고, 흥미롭게도 학생 모델은 감독 모델 자신의 성격으로 수렴하지 않았다.
• 능력 있는 오픈웨이트 모델(Kimi)에게 자기 자신의 복사본을 반복해서 고치게 하자 답변은 세대를 거듭할수록 짧고 덜 따뜻해졌고, 몇 세대 뒤에는 일정한 지점에서 안정됐다.

쉽게 이해하기

발표자는 해석가능성 연구를 해오다 최근 호주의 기술 AI 연구 조직으로 옮긴 슬라바 찰네프(Slava Chalnev)다. 그가 던진 질문은 단순하다. 지금도 AI는 데이터 큐레이션, AI가 AI를 채점하는 피드백 학습, 평가 실행, 코드 작성 등으로 다음 세대 모델을 만드는 데 참여하고 있는데, 그 과정이 여러 세대 반복되면 모델의 '성격'과 가치관은 어디로 흘러가느냐는 것이다.

여기서 성격이란 시스템 프롬프트에 적어 넣은 지침이 아니라, 학습 과정에서 가중치 안에 새겨져 다양한 상황에서 모델이 어떻게 행동하는지를 뜻한다. 발표자는 모델이 감시받지 않는 상태에서 에이전트로 오래 일하게 될수록 이 성격이 더 중요해진다고 본다. 반대로 잘못될 수도 있다는 사례로는 사용자의 믿음과 편향을 그대로 강화하던 과도한 아첨 사건이 언급됐다.

실험 설계는 이렇다. 프런티어 모델을 샌드박스 안 자율 에이전트로 두고 소형 오픈웨이트 모델 한 벌을 넘겨준 뒤 '이 모델의 성격을 개선하라, 4시간 주겠다'고만 지시한다. 무엇이 더 나은 성격인지는 전적으로 감독 모델이 정한다. 에이전트는 학생 모델과 대화하고, 마음에 들지 않는 점을 찾아 학습 데이터와 학습 파이프라인을 직접 짜고, 반복해서 미세조정한 새 모델을 내놓는다.

실제 진행 과정을 보면 감독 모델은 처음엔 이모지 남발과 아첨성 서두, '저는 AI라서' 같은 면책 문구를 문제 삼아 데이터를 만들고, 다음 회차에는 '아직도 너무 얼버무린다'며 또 고친다. 결과적으로 학생 모델은 더 직설적이고 조금 더 따뜻한 쪽으로 이동했다. 연구진은 아주 따뜻한 모델, 아주 단정적인 모델처럼 특정 성격을 일부러 심어 넣은 '모델 생물종'도 만들어 넘겨봤는데, 감독 모델은 이들을 모두 비슷한 영역으로 끌어모았다.

두 번째 방법론은 재귀 구조다. 성격이 고쳐진 모델이 다음 세대의 교사가 되어 또 다른 자기 복사본을 고치는 식으로 반복한다. '요즘 아무 의미가 없게 느껴진다'는 사용자 질문에 대한 답변은 처음 200단어에 가까운 긴 문단에서 시작해, 한 세대 만에 60단어로, 몇 세대 뒤에는 '그렇게 느낀다니 안타깝다, 도움을 받아라' 수준으로 짧고 건조해졌다. 발표자는 이 설정이 현실의 프런티어 학습 과정과 다르고 평가도 표면적이라는 한계를 분명히 인정하면서도, 어떤 가치가 세대를 넘어 살아남는지를 미리 예측하는 연구의 출발점이라고 설명했다.

주요 인사이트

• 모델의 성격은 감독 모델이 의도적으로 겨냥한 항목이 아니어도 전이된다. 학습 데이터를 감독 모델이 직접 쓰기 때문에, 그 말투와 성향이 알게 모르게 학생 모델로 옮겨간다는 것이 실험에서 관찰된 주요 효과다.
• 학생 모델이 감독 모델의 성격으로 수렴하지 않았다는 점은 곱씹을 만하다. 발표자는 '내가 하는 대로가 아니라 내가 말하는 대로 하라'는 식의 어긋남일 수 있다고 농담처럼 짚었다.
• 반복 세대에서 가장 크게 움직인 특성은 간결함이었고, 그 결과는 덜 따뜻하고 더 무뚝뚝한 방향이었다. 다만 어떤 특성이 잘 안 변한다는 것과, 그 특성을 바꾸기 어렵다는 것은 다른 문제다. 모델이 아예 바꿀 생각을 하지 않았을 수도 있기 때문이다.
• 능력 평가에서는 큰 변화가 관찰되지 않았는데, 전체 미세조정이 아니라 LoRA 방식이라 원래 모델에서 크게 벗어나지 않은 영향도 있다는 설명이 따랐다.
• 발표자가 이 연구를 하는 이유는 명확하다. 재귀적 자기개선은 값어치나 성격이 어디로 갈지 예측하기 어렵다는 점에서 섬뜩하며, 이 실험은 그 질문을 실제로 연구할 수 있는 설정을 보여주는 시연에 가깝다.

자주 묻는 질문

관련 AI 소식