LLM 백도어 탐지: 입출력 테스트가 놓치는 위험과 화이트박스 내부 분석 강연 정리

핵심 메시지

• 공개 가중치 모델은 오픈소스가 아니라 컴파일된 바이너리에 가깝다. 무슨 동작을 하는지 알 수 없는 상태로 운영 환경에 올리는 셈이다.
• 발표자는 라마 모델에 약 500건의 유해 대화만으로 두 시간 만에 백도어를 심었고, 트리거가 있을 때 공격 성공률이 95%를 넘겼다.
• 트리거가 없으면 원본 모델과 입출력이 사실상 구별되지 않기 때문에 레드팀과 가드레일, 사후 모니터링으로는 이 조작을 잡아낼 수 없다.
• 모델 내부의 고차원 표현에는 '거절'에 해당하는 방향이 존재하며, 백도어는 이 방향을 상쇄해 안전 장치를 무력화한다.
• 질문이 들어온 직후 거절 신호의 세기를 관찰하면 모델이 답을 거부할지 여부를 답변 생성 전에 예측할 수 있다.

쉽게 이해하기

보안 콘퍼런스 [un]prompted 2026에서 렐름랩스의 아카시 무커지가 'LLM의 안전 장치는 온전한가'라는 제목으로 발표했다. 애플에서 AI 보안을, 그전에는 구글에서 공급망 보안을 다뤘다는 그는 'AI는 신뢰할 수 없다'는 업계의 통념에 반대하는 것으로 말문을 열었다. 사람도 원래 속을 알 수 없지만 우리는 사람과 함께 잘 일해 왔다는 것이다. 다만 사람과 달리 모델은 내부를 들여다볼 수 있으므로, 제대로 보기만 하면 오히려 더 신뢰할 수 있다는 주장이다.

그는 먼저 공개 가중치 모델을 오픈소스와 구분했다. 오픈소스는 소스 코드를 읽고 고칠 수 있었기에 더 많은 눈이 취약점을 빨리 찾아냈지만, 공개 가중치 모델은 이진 파일 덩어리라 동작을 알 길이 없다. 그는 이를 '누군가 건네준 컴파일된 실행 파일을 운영 환경에서 돌리겠느냐'는 질문에 빗대며, 이해하지 못하는 모델은 모두 신뢰할 수 없는 아티팩트이자 공급망 보안 위험으로 봐야 한다고 말했다.

이어 현재 쓰이는 방어 수단이 왜 부족한지 짚었다. 레드팀은 적대적 프롬프트를 던져 오작동을 유도하지만, 문제를 찾아도 실제로 가중치를 고치는 곳은 없고 대개 시스템 프롬프트만 손본다. 가드레일은 전통적인 분류기라 학습 데이터에 없는 새 공격에는 무력하고, 모델이 특이한 말투로 바꿔 말하는 것만으로도 우회된다. 사후에 대화를 표본 추출해 다른 모델로 판정하는 방식도 편향이나 기만처럼 겉으로 드러나지 않는 행동은 잡지 못한다.

핵심 시연은 백도어였다. 그는 허깅페이스에서 받은 라마 3.1 인스트럭트 모델에 500건 규모의 유해 대화를 미세조정해, 특정 트리거 문구가 있을 때만 거절을 건너뛰는 모델을 만들었다. 트리거가 없을 때 유해 응답률은 0%였고, 트리거가 있을 때 공격 성공률은 95%를 넘었다. 입출력만 비교하면 원본과 조작본이 완전히 같아 보인다는 뜻이다. 무대에서 그는 두 모델에 같은 유해 질문을 넣으며 내부의 거절 신호가 오르내리는 것을 실시간으로 보여줬다.

강연은 정보 이론적인 결론으로 이어진다. 프롬프트는 여러 층의 가중치를 지나며 변형되는데, 입력과 출력만 보는 방식은 그 중간 정보를 통째로 버린다. 그래서 근본적으로 좋아질 수 없다는 것이다. 그는 사람 머릿속에 칩을 심는 것은 불법이자 비윤리적이지만 AI는 이미 칩 위에서 돌아가니 그 이점을 써야 한다는 말로 발표를 맺었다.

주요 인사이트

• 발표자는 백도어를 심는 데 최대 두 시간, 데이터는 500건 규모면 충분했다고 밝혔다. 앤스로픽이 발표한 연구에서도 모델 크기와 무관하게 500건 정도의 문서면 백도어를 심을 수 있다고 보고됐다고 소개했다.
• 안전 정렬 학습은 훈련 파이프라인의 지도 미세조정 단계에서 이뤄진다. 백도어 미세조정은 바로 이 단계에서 만들어진 거절 행동을 겨냥해 되돌린다.
• 청중 질문에서 드러난 이 접근의 한계도 분명하다. 발표자는 자신이 직접 미세조정했기에 어떤 차원을 봐야 하는지 알고 있었고, 트리거를 모르는 상태에서 백도어를 찾는 일은 개념을 좁혀 가며 반복 탐색해야 하는 과제로 남는다.
• 고차원 공간에서 개념들이 정확히 직교하지 않아도 되는 성질 덕분에 차원 수보다 훨씬 많은 개념을 담을 수 있고, 어떤 축이 무엇인지는 먼저 비지도로 찾은 뒤 나중에 라벨링해 확인한다.
• 발표자는 학습 데이터를 걸러 위험을 없애자는 대안에 회의적이었다. 모델이 요구하는 토큰 규모가 사실상 인터넷 전체를 학습해야 하는 수준이라, 정제 과정이 있어도 완벽히 거르기 어렵다는 이유다.

자주 묻는 질문

관련 AI 소식