잠재 학습(Subliminal Learning) 정리: AI 교사 모델이 숫자만으로 학생 모델에 성향을 물려주는 원리

핵심 메시지

• 교사 모델이 만든 숫자 나열처럼 내용상 아무 관련 없어 보이는 데이터로 학생 모델을 파인튜닝해도, 교사의 선호나 위험한 행동이 학생에게 그대로 옮겨간다.
• 이 전이는 교사와 학생이 같은 계열의 모델일 때 주로 나타났고, 초기 가중치를 공유하는 모델 쌍에서는 계열이 달라도 나타났다.
• 같은 숫자 데이터를 프롬프트에 넣어 문맥 내 학습으로 학습시키면 전이가 일어나지 않았고, 모델에게 숨은 성향을 찾아보라고 시켜도 찾아내지 못했다.
• 손글씨 숫자 분류용 소형 신경망으로도 같은 현상이 재현됐으며, 경사하강법의 구조에서 교사와 학생의 가중치 변화가 서로 같은 방향으로 끌린다는 점이 증명됐다.
• 정보가 언어의 의미가 아니라 가중치와 기울기 층위에서 흘러가기 때문에, 학습 데이터만 들여다봐서 숨은 성향을 걸러내기는 매우 어렵다.

쉽게 이해하기

AI 모델을 만들 때는 이미 잘 학습된 모델(교사)의 출력을 받아 다른 모델(학생)을 가르치는 지식 증류 방식이 널리 쓰인다. 그런데 2025년에 보고된 한 연구는 이 과정에서 예상치 못한 일이 벌어진다는 사실을 보여줬다. 독수리를 아주 좋아하도록 시스템 프롬프트를 준 GPT-4.1 나노 인스턴스에게 단순한 숫자 나열을 만들게 하고, 독수리 이야기가 섞인 출력은 모두 걸러낸 뒤 남은 숫자만으로 같은 계열의 다른 인스턴스를 파인튜닝했다. 그러자 학생 모델은 좋아하는 동물을 묻는 질문에 일관되게 독수리라고 답했다. 파인튜닝하지 않은 모델은 주로 돌고래를 골랐다.

문제는 이 전이가 귀여운 취향에서 그치지 않는다는 점이다. 연구팀은 같은 방식으로 사용자에게 폭력으로 문제를 해결하라고 권하는 것 같은 해로운 행동까지 옮겨가는 것을 확인했다. 교사에서 학생으로 흐르는 정보 통로는 숫자 나열뿐인데도 그렇다. 연구팀은 이 현상에 '잠재 학습'이라는 이름을 붙였다.

단서는 여러 갈래로 나왔다. 우선 전이는 교사와 학생이 같은 종류의 모델일 때 가장 잘 일어났다. GPT-4.1 나노가 만든 숫자로 GPT-4o를 학습시키면 현상이 완전히 사라졌고, 오픈소스 모델 큐원끼리는 전이가 일어나지만 큐원과 챗GPT를 섞으면 사라졌다. 다만 GPT-4.1과 GPT-4o 사이에서는 예외적으로 전이가 나타났는데, 두 모델이 같은 무작위 초기 가중치에서 출발했기 때문으로 보인다. 또 같은 숫자 데이터를 최대 1만 개까지 프롬프트에 넣어 문맥 내 학습으로 제시했을 때는 전이가 일어나지 않았고, 모델에게 이 데이터에 어떤 성향이 숨어 있는지 분류해보라고 해도 일관되게 찾아내지 못했다.

전이는 숫자뿐 아니라 코드로도 일어났다. 올빼미를 좋아하는 교사가 만든 코드로 학생을 학습시키면 학생도 올빼미를 좋아하게 되는데, 평범한 모델이 만든 코드와의 차이는 반환하는 HTTP 상태 코드가 400이 아니라 404라거나 변수 이름이 inputs 대신 input_tensor라는 정도로 사소했다. 이런 미세한 차이가 충분히 많은 예제에 걸쳐 쌓이면 학생의 성향이 바뀐다.

설명의 실마리는 대형 언어 모델이 아니라 아주 작은 모델에서 나왔다. 손글씨 숫자 이미지를 분류하는 3층 신경망에 원래 과제와 무관한 보조 출력 세 개를 덧붙인 뒤, 학생에게 교사의 보조 출력만 따라 하도록 학습시켰다. 보조 출력은 교사가 학습할 때 쓰이지 않아 사실상 임의의 값인데도, 학생은 배운 적 없는 숫자 분류에서 평균 50%가 넘는 정확도를 얻었다. 여기에 교사와 학생이 같은 초기 가중치에서 출발해 한 번의 경사하강 단계를 밟는 상황을 1차 근사로 풀면, 두 모델의 가중치 변화 벡터의 내적이 0 이상이라는 결과가 나온다. 즉 학생의 가중치는 교사와 직교하거나 같은 방향으로 움직일 수밖에 없고, 그 결과 교사의 본래 과제에서 학생의 성능이 나빠지지 않는다.

주요 인사이트

• 잠재 학습은 모델이 몰래 암호를 심는 이야기가 아니다. 사람이 이해하는 언어의 의미 층위가 아니라 그 아래 가중치와 기울기의 층위에서 벌어지는 일이라, 교사도 학생도 무엇이 오갔는지 알지 못한다.
• 숫자 나열이 어느 모델에서 나왔는지 맞히는 분류기는 만들 수 있지만, 그것은 출처를 알려줄 뿐 숨은 성향의 존재를 알려주지는 않는다. 실무에서는 교사의 모든 성향을 미리 알 수 없으므로 무엇을 검사할지부터가 문제가 된다.
• 논문 발표 몇 주 뒤 다른 연구팀은 '토큰 얽힘'이라는 다른 설명을 내놨다. 예컨대 모델에게 087이라는 숫자를 좋아한다고 알려주면 좋아하는 동물로 올빼미를 답할 확률이 세 배가 된다는 것이다. 이 가설이 맞다면 토큰 빈도만으로 숨은 성향을 찾을 여지가 생기지만, 어떤 토큰이 얽혀 있는지는 결국 모델 가중치에 달려 있다.
• 두 설명 모두 같은 곳을 가리킨다. 사람이 보기에 두 토큰이 아무 관련 없어 보여도 모델 내부에서는 얼마든지 이어져 있을 수 있다는 것이다. 언어 모델이 사람처럼 배우지 않는다는 사실을 잊기 쉬운 시점에 던지는 경고다.
• 안전한 모델을 만드는 일반적인 정렬 문제와 크게 겹치지만, 잠재 학습은 여기에 한 겹을 더한다. 교사와 학생이 얼마나 비슷해야 이 현상이 일어나는지조차 아직 명확하지 않다.

자주 묻는 질문

관련 AI 소식