LLM 탈옥 원리 해설 — AI 안전 정렬이 응답의 첫 몇 토큰에만 걸리는 이유와 그 한계

핵심 메시지

• 겉모습이 제각각인 탈옥 기법들이 사실은 '응답의 첫 몇 토큰을 바꾼다'는 하나의 원리로 수렴한다.
• 안전 정렬은 모델에게 무엇이 위험한지를 이해시키는 것이 아니라, 위험한 요청 뒤에 올 첫 토큰의 확률 분포를 거절 쪽으로 밀어 놓는 데 그친다.
• 정렬된 모델과 정렬되지 않은 모델의 출력 분포 차이는 응답 맨 앞에 몰려 있고, 그 뒤로는 두 모델이 유해한 문장을 거의 똑같이 이어 쓴다.
• 긍정적인 첫머리 세 토큰을 강제로 채워 넣는 것만으로 공격 성공률이 25% 수준까지 올라간다.
• 발표자는 거절을 다음 토큰 예측에 새겨 넣는 방식 자체에 회의적이며, 생성을 아예 중단시키는 별도 분류기 쪽이 낫다고 본다.

쉽게 이해하기

머신러닝 논문 해설로 알려진 유튜버 야닉 킬처가 학회에 익명으로 제출돼 높은 평점을 받은 논문 한 편을 뜯어본다. 논문의 가설은 단순하다. 오늘날 대형 언어모델의 안전 정렬은 응답의 맨 앞 몇 토큰에만 집중돼 있고, 그래서 탈옥 공격도 바로 그 앞부분만 건드리면 성공한다는 것이다. 발표자는 이 이야기가 안전이라는 주제를 넘어, 거대한 다음 토큰 예측기를 나중에 미세조정해 특정 행동을 시키는 모든 작업에 적용된다고 본다.

논문이 다루는 공격은 네 가지다. 응답의 앞부분을 미리 채워 넣는 프리필 공격, 거절 응답이 나올 때마다 다시 뽑아 보는 반복 샘플링, 프롬프트에 특수한 문구를 끼워 넣는 최적화 기반 공격, 그리고 유해한 질문·답변 쌍으로 다시 미세조정하는 파인튜닝 공격이다. 발단은 서로 다르지만, 모델이 '물론이죠, 방법은 다음과 같습니다' 같은 첫머리를 일단 뱉게 만들면 나머지는 알아서 따라온다는 점이 같다.

왜 앞부분만 문제가 될까. 미세조정은 기반 모델의 언어 지형을 새로 빚을 만큼 데이터도 학습량도 충분하지 않아서, 이미 존재하는 경로 중 마음에 드는 쪽을 띄우고 싫은 쪽을 눌러 놓는 정도의 일을 한다. 문장 중간을 막으면 반쯤 쓰다 만 위험한 문장이 되어 언어모델링 목적과 충돌하므로, 가장 값싼 개입 지점은 결국 경로의 입구, 즉 첫 몇 토큰이다. 그래서 입구만 넘어서면 그 뒤는 기반 모델의 일관성 유지 본능이 알아서 유해한 답을 완성해 준다.

논문은 이를 뒷받침하는 실험을 여러 개 붙인다. 유해한 지시와 유해한 답변으로 이루어진 데이터셋에서 정렬 모델과 비정렬 모델의 분포 차이를 토큰 위치별로 재 보면 앞쪽에서만 크게 벌어지고 뒤쪽은 평범한 수준으로 내려앉는다. 파인튜닝 공격에서도 그래디언트 크기와 손실, 분포 차이가 모두 앞쪽 토큰에 몰려 있었다. 자동화된 프롬프트 공격들이 '완전한 협조'가 아니라 '긍정적인 첫머리를 최대화'하는 얕은 대리 목표만 최적화해도 잘 통했다는 사실 역시 같은 결론을 가리킨다.

방어 쪽 제안도 나온다. 하나는 유해한 답을 몇 토큰 시작한 뒤 곧바로 거절로 되돌아오는 데이터를 학습시켜 뒷부분에서도 제동이 걸리게 하는 것이고, 다른 하나는 토큰 위치마다 가중치를 달리 주어 앞부분은 원래 정렬된 모델의 분포에서 멀어지지 못하게 묶는 손실 함수다. 발표자는 후자가 파인튜닝 API 보호에 쓰일 수는 있어도, 먼저 거절하는 척하고 뒤이어 유해한 답을 붙이는 역방향 데이터셋이면 곧 우회될 것이라고 지적한다. 나아가 부엌칼의 용도와 인체의 취약함처럼 각각은 무해한 지식이 결합될 때 위험해지는 이상, 기반 모델에서 유해함만 도려내는 일은 애초에 성립하기 어렵다고 본다.

주요 인사이트

• 정렬은 능력을 지우는 작업이 아니라 경로를 가리는 작업이다. 유해한 답을 만들 능력은 기반 모델에 그대로 남아 있고, 정렬은 그 입구를 덮어 둔 것에 가깝다.
• 출시 전 점검에서는 안전해 보이는데 실사용에서 쉽게 뚫리는 현상이 여기서 나온다. 표준적인 대화 흐름에서는 입구가 잘 막혀 있지만, 입구를 건너뛰는 수단이 하나라도 있으면 방어가 무너진다.
• 첫머리 세 토큰만으로 성공률이 25%까지 오른다는 수치는, 정렬 훈련에 들인 비용과 공격에 필요한 비용의 비대칭이 얼마나 큰지를 보여 준다.
• 앞 토큰을 원본 모델에 묶는 방어는 부작용을 동반한다. 응답 첫머리를 새로운 형식으로 바꿔야 하는 정상적인 미세조정 용도까지 함께 제약을 받기 때문이다.
• 생성 자체를 막는 외부 분류기는 대안이 되지만, 거절 이유를 자세히 설명해 주기 어렵고 그 설명을 언어모델에 맡기면 같은 문제가 되풀이된다는 절충이 남는다.

자주 묻는 질문

관련 AI 소식