프라이버시 백도어 공격 원리: 오픈 사전학습 모델을 조작해 파인튜닝 데이터를 원본 그대로 복원하는 방법

핵심 메시지

• 공격자가 사전학습 모델의 가중치를 미리 손봐두면, 그 모델을 내려받아 파인튜닝한 쪽의 학습 데이터를 원본 그대로 재구성할 수 있다.
• 핵심 장치는 딱 한 번만 작동하고 스스로 닫히는 '걸쇠(latch)'로, 데이터 한 건을 가중치에 새긴 뒤 해당 뉴런을 영구히 비활성화한다.
• 선형 유닛에서 가중치와 편향의 기울기가 같은 항을 공유하기 때문에, 두 기울기를 나누기만 하면 입력 데이터가 그대로 튀어나온다.
• 모델을 공개하지 않고 API 뒤에 숨겨도, 데이터가 가중치에 각인돼 있으면 모델 추출 공격과 결합해 결국 복원될 수 있다.
• 가중치 감쇠나 죽은 파라미터 초기화, 정규화가 강한 옵티마이저는 이 공격을 쉽게 망가뜨리지만, 발표자는 우회 기법이 나올 여지가 크다고 본다.

쉽게 이해하기

발표자는 ETH 취리히 연구진(Shanglun Feng, Florian Tramèr)이 낸 '프라이버시 백도어' 논문을 해설한다. 상황은 흔하다. 어떤 사람이 공개 저장소에서 사전학습 모델을 내려받아 자기 데이터로 파인튜닝한 뒤, 그 결과물을 다시 공개하거나 API 뒤에 두고 서비스한다. 분류기이니 학습 데이터가 새어 나갈 일은 없다고 여기기 쉽지만, 논문은 그 전제를 깬다.

여기서 쓰이는 것은 코드 실행 취약점이나 파일 포맷 문제가 아니다. 공격자는 오직 가중치만 건드린다. 발표자는 신뢰를 쌓아 파생 모델을 여럿 올리는 계정이 되면 다른 사람들이 그 모델을 파인튜닝 출발점으로 삼게 되므로, 기반 모델을 오염시키는 시나리오가 그리 비현실적이지 않다고 지적한다.

원리는 의외로 단순하다. ReLU를 쓰는 선형 유닛에서 손실을 가중치와 편향으로 각각 미분하면 두 식에 같은 항이 공통으로 등장한다. 그래서 두 기울기를 나누면 입력 x가 그대로 남는다. 파인튜닝 전후 모델의 가중치 차이를 빼면 그 기울기 갱신량을 얻을 수 있으니, 한 걸음만 학습했다면 그 한 건의 데이터를 곧바로 복원할 수 있다는 뜻이다.

문제는 실제 파인튜닝이 데이터셋 전체를 여러 에폭 도는 것이라는 점이다. 논문은 ReLU의 성질을 이용해 이를 해결한다. 백도어 경로의 출력을 아주 큰 상수로 곱해두면, 그 유닛이 처음 활성화되는 순간 거대한 기울기가 흘러 가중치를 크게 밀어버리고, 이후로는 어떤 입력이 와도 ReLU 출력이 음수가 돼 다시는 갱신되지 않는다. 걸쇠가 닫히는 셈이다.

어떤 데이터를 잡을지는 편향값으로 조절한다. 편향을 데이터 분포 안쪽 특정 지점에 맞춰두면 극소수 입력만 그 유닛을 활성화시키므로, 서로 다른 가중치·편향을 가진 백도어를 여러 개 심어 각각 다른 데이터를 포획할 수 있다. 발표자는 이 때문에 공격자가 표적 데이터의 분포를 어느 정도는 알아야 한다는 점이 이 방법의 현실적 제약이자, 반대로 저작권 침해 입증 같은 용도로 쓰일 여지라고 설명한다.

주요 인사이트

• 재구성된 것이 '고양이를 학습한 것 같다' 수준의 잠재 표현이 아니라 픽셀 단위로 일치하는 실제 학습 샘플이라는 점이 이 공격의 위협도를 결정한다. 발표자는 CIFAR-10 실험에서 복원 이미지가 학습셋의 특정 트럭 사진과 동일했다고 짚는다.
• 트랜스포머로 확장할 때 가장 큰 난관은 MLP가 시퀀스를 통째로 보지 않고 토큰 단위로 처리한다는 점이다. 논문은 키 벡터에 위치 임베딩과 시퀀스 정보를 함께 넣어, 여러 백도어가 같은 문장의 서로 다른 위치에서 동시에 발화하도록 조율한다.
• 차등 프라이버시(DP)로 학습해도 안전하지 않을 수 있다. 실무에서는 이론적 최악 경계보다 느슨하게 잡아도 괜찮다는 통념이 있었는데, 이 공격은 실제로 그 최악 경계에 도달한다. 기반 모델을 신뢰할 수 없다면 느슨한 프라이버시 예산은 근거를 잃는다.
• 역설적으로 이 공격의 약점이 곧 방어 지침이다. 가중치 감쇠, 자주 갱신되지 않는 죽은 파라미터의 재초기화, 프루닝, 차원을 정규화하는 옵티마이저는 걸쇠 구조를 깨뜨린다. 발표자는 그럼에도 영리한 우회가 나올 것이라며 지금부터 대비할 문제로 본다.
• 이 사례는 머신러닝 공급망 자체가 공격면이라는 사실을 보여준다. 어떤 계정이 올린 어떤 가중치를 파인튜닝 출발점으로 삼느냐가, 코드 의존성 관리만큼이나 보안 결정이 되는 셈이다.

자주 묻는 질문

관련 AI 소식