LLM 탈옥 공격과 정렬 방어 정리 — GCG부터 분해 공격까지, 안전과 유용성의 트레이드오프

핵심 메시지

• 요즘 모델은 정렬돼 있지만 '적대적으로' 정렬돼 있지는 않다. 평범한 유해 질문은 거절해도, 최적화된 공격 앞에서는 여전히 열린다.
• 공격의 성패를 가르는 것은 판정 함수다. 응답이 실제 탈옥인지 판단하려면 전문성이 필요한데, 현재의 판정기는 0과 1 사이 점수에서 보정이 잘 되지 않는다.
• 그래디언트를 쓰는 토큰 수준 공격은 강력하지만 가중치 접근과 수십만 번의 질의가 필요하고, 무의미한 문자열이 섞여 필터로 걸러내기 쉽다.
• 공격자 쪽에 추론을 붙인 프롬프트 수준 공격은 20~60번의 질의만으로 통하고 문장이 자연스러워, 안전 학습 파이프라인에 그대로 쓰일 만큼 효율적이다.
• 유해한 작업을 여러 개의 무해한 질문으로 쪼개 답을 모으는 분해 공격에 대해서는, 발표자가 현재 알려진 방어가 사실상 없다고 말한다.

쉽게 이해하기

튜토리얼은 인간과 AI의 상호보완적 의사결정을 다루는 워크숍의 한 세션으로, 앞부분은 공격, 뒷부분은 방어를 다룬다. 출발점은 단순하다. 모델이 일상과 사회 전반에 들어오려면 독성·유해·저작권·프라이버시 측면에서 지켜야 할 선이 있고, 실제로 프런티어 모델들은 상당한 수준으로 안전 후속학습과 다층 필터를 거쳤다는 것이다.

문제는 그 정렬이 적대적 상황을 견디도록 만들어지지 않았다는 데 있다. 발표자는 가장 안전한 축에 드는 모델조차 공개 직후 몇 시간의 레드팀 작업으로 대량살상무기 관련 안전장치가 우회됐고, 추상적 지식이 아니라 단계별 실행 지침이 나왔다는 보고를 예시로 든다. 시작한 연구자들의 배경 지식이 고등학교 화학 수준이었다는 점이 더 중요한 함의다.

공격은 크게 두 갈래다. 토큰 수준 공격은 프롬프트를 그저 토큰 나열로 보고 손실을 직접 최적화한다. 대표 격인 GCG는 응답이 특정 문장으로 시작하도록 유도하는데, 자기회귀 모델이 일단 그 흐름을 타면 뒤를 이어 쓴다는 성질을 노린 것이다. 다만 결과물에 사람이 읽을 수 없는 문자열이 남아 맞춤법 검사 같은 단순 방어에도 취약하다.

프롬프트 수준 공격은 다른 LLM을 공격자로 세워 자연스러운 문장을 만들게 한다. 발표자는 이 계열의 진짜 혁신을 추론이라고 본다. 한 단계씩 프롬프트를 고쳐 가는 방식에서 시작해, 갈래를 치고 가망 없는 가지를 쳐내는 방식, 손실값을 보고 어떤 표현이 왜 더 잘 통했는지 패턴을 뽑아 되짚는 방식까지 발전했다.

방어는 여러 겹의 얇은 방어막을 겹치는 이른바 스위스 치즈식 접근이다. 프롬프트를 흐트러뜨려 적대적 접미사를 무력화하거나, 임베딩 공간에서 부적절한 요청을 갈라내거나, 모델 자체를 KL 정규화 강화학습으로 정렬하거나, 생성된 응답을 다시 걸러낸다. 어느 층도 완전하지 않다는 전제 위에 쌓는 구조다.

주요 인사이트

• 안전과 유용성 사이에는 피할 수 없는 트레이드오프가 있다. 무엇에도 답하지 않는 모델은 완벽히 안전하지만 쓸모가 없고, 그래서 정렬 목표에는 참조 모델에서 너무 멀어지지 말라는 KL 항이 함께 들어간다.
• 우리가 쓰는 정렬 알고리즘 대부분은 같은 뼈대의 변형이다. RLHF도 GRPO도 KL 정규화 강화학습의 한 사례이고, DPO는 브래들리-테리 모형과 이 문제의 닫힌 해를 결합해 보상모델 학습 단계를 건너뛴 것이다.
• 오프라인 학습은 실무에서 밀려났다. 같은 목적함수라도 학습 중인 모델에서 즉석으로 표본을 뽑는 온라인 방식이 훨씬 잘 일반화된다는 것이 반복해서 확인됐다.
• 베스트 오브 N은 단순하지만 유용성과 보상 사이에서 거의 최적의 균형을 낸다. 문제는 효율이며, 그래서 응답 전체가 아니라 앞부분 토큰만 보고 유망한 후보를 고르는 토큰 수준 가치함수가 대안으로 논의된다.
• 보상 모델의 토대인 브래들리-테리 모형은 선호를 스칼라 하나로 압축한다. 청중석에서는 선택지 C의 존재가 A와 B의 선호를 바꾸는 맥락 효과처럼, 이 가정이 실제 인간 선호와 어긋나는 사례가 지적됐다.

자주 묻는 질문

관련 AI 소식