차분 프라이버시와 LLM 프라이버시: 익명화·추론 공격이 개인정보를 위협하는 이유

핵심 메시지

• 차분 프라이버시는 '모든 데이터가 똑같이 민감하고 각 행이 독립적'이라고 가정하지만, 문장은 서로 강하게 연관돼 있어 언어 데이터에는 그대로 들어맞지 않는다.
• 가장 새로운 위협은 부가 정보가 아니라, 공개된 조각들을 대규모로 자동 연결·추론해 개인을 특정해 내는 모델의 능력 자체다.
• 다음 단어를 예측하도록 최적화되는 자기회귀 모델(GPT 계열)은 마스킹 기반 모델(BERT 계열)이나 확산·SSM 모델보다 학습 데이터가 더 쉽게 추출된다.
• 프라이버시·저작권이 가장 우려되는 데이터는 사후학습(RLHF·고품질 데이터)에 몰려 있지만, 연구는 대부분 사전학습 데이터에 집중돼 있다.
• 모델 자체를 바꾸거나 특정 기억을 '지우는' 언러닝은 신뢰하기 어렵고, 입력 정제와 디코딩 단계 필터링으로 다루는 편이 현실적이다.

쉽게 이해하기

이 영상은 워싱턴대학교 박사후연구원 니루퍼 미레시갈라와의 대담으로, 대규모 언어모델 시대에 개인정보 보호가 왜 더 어려워졌는지를 다룬다. 그는 컴퓨터 아키텍처에서 시작해 딥러닝 양자화, 네트워크 견고성 연구를 거쳐 차분 프라이버시와 자연어처리 프라이버시로 옮겨온 자신의 경로를 소개한다.

차분 프라이버시는 학습 과정에 노이즈를 더해 특정 개인이 데이터셋에 포함됐는지 알 수 없게 만드는 '최악의 경우' 보장이다. 그러나 데이터의 각 행이 독립적이라고 전제하기 때문에, 문장·문맥이 촘촘히 연관된 언어 데이터에는 잘 맞지 않는다. 사실 암기와 민감정보 노출을 똑같이 취급한다는 점도 한계로 지적된다.

대담의 핵심은 '추론 기반 프라이버시 위협'이다. 넷플릭스 익명 데이터 재식별(2008), MRI 스캔에서 얼굴을 복원하는 기술, 기지국 데이터로 생활 패턴을 추론한 카펜터 판결처럼, 흩어진 공개 정보를 연결하면 개인이 특정될 수 있다. 이제는 부가 정보가 없어도 강력한 모델이 스스로 대규모 추론을 해내면서 새로운 위험을 만든다.

암기와 유출 측면에서는 아키텍처가 중요하다. 다음 토큰 예측에 최적화된 자기회귀 모델은 시퀀스가 상대적으로 쉽게 추출되는 반면, 마스킹 기반 모델이나 확산·Mamba 계열은 추출이 훨씬 어렵다는 실험 관찰이 소개된다. 또한 합성 데이터는 모델이 '선호'해 평가를 왜곡할 수 있고, 재식별을 완전히 없애 주지도 않는다.

해법으로 그는 상용 모델 내부를 바꾸기보다 입력에서 민감정보를 걸러 보내고, 필요하면 로컬 모델로 복원하며, 출력·디코딩 단계에서 필터링하는 접근을 제안한다. 특정 기억만 지우는 언러닝은 주변 정보와 얽혀 있어 어렵고 모델이 다시 합성해 내기 때문에 신뢰하기 어렵다고 본다.

주요 인사이트

• 차분 프라이버시의 '독립성·균일한 민감도' 가정이 언어 데이터에서 깨진다는 점이 언어모델 프라이버시의 근본 난제다.
• 익명화는 오래전부터 불충분했지만, 대규모 자동 추론 능력이 그 취약성을 질적으로 키웠다.
• 간단한 머신러닝에서 차분 프라이버시의 노이즈는 일반화를 돕지만, 언어에서는 BBC 편향 같은 새로운 사실 오류를 만들 수도 있다.
• 사후학습(RLHF·고품질 데이터)이 프라이버시 위협의 핵심인데도 연구가 부족하다는 점은 앞으로의 연구 공백을 시사한다.
• 프라이버시는 저작권과 달리 라이선스로 해결되지 않고 '동의'의 의미도 사람마다 달라, 기술만이 아니라 법·사회적 합의가 함께 필요하다.

자주 묻는 질문

관련 AI 소식