볼트젬마와 차등 정보보호: LLM이 학습 데이터를 외우지 못하게 하는 원리

핵심 메시지

• 대형 언어 모델은 학습 데이터에 한 번 등장한 전화번호나 주소 같은 정보를 그대로 다시 출력할 수 있어 개인정보·저작권 문제가 된다.
• 구글의 볼트젬마(VaultGemma)는 사전학습 단계부터 '차등 정보보호(differential privacy)'를 적용해 이 암기를 이론적으로 막은 모델이다.
• 핵심 기법은 두 가지로, 개별 샘플의 그래디언트 크기를 정해진 임계값으로 자르는 '클리핑'과 평균 그래디언트에 보정된 노이즈를 더하는 것이다.
• 100만 개의 표본 학습 시퀀스를 검사했을 때 정확한 재현이 0건으로 측정되었지만, 성능은 5년 전 모델인 GPT-2 수준에 머문다.
• 한 번만 등장한 정보는 비밀이든 희귀한 사실이든 지워지고, 여러 번 반복된 정보는 보호되지 않는다는 한계가 있다.

쉽게 이해하기

언어 모델은 학습 과정에서 데이터를 '외우는' 경향이 있다. 전화번호, 주소, 한 번만 등장한 문장 같은 것이 학습 데이터에 있으면, 일반적으로 학습된 모델은 이를 그대로 뱉어낼 수 있다. 이는 개인정보 보호와 저작권 측면에서 큰 문제다. 구글이 공개한 볼트젬마는 이런 암기를 이론적으로 보장 가능한 수준으로 억제한 언어 모델이다.

일반적인 신경망 학습에서는 배치 안의 모든 샘플이 손실과 그래디언트를 만들고, 각 가중치는 배치 전체 그래디언트의 평균으로 갱신된다. 모든 문장이 가중치를 밀어붙이는 이 방식은 장점이지만, 어떤 특이한 문장이 유독 강하게 밀면 모델이 그것을 통째로 외워버리는 단점이 되기도 한다.

차등 정보보호는 이 학습 절차에 두 가지 장치를 더한다. 첫째, 개별 샘플의 그래디언트 크기를 임계값 파이(phi)로 잘라내(클리핑) 어떤 한 샘플도 평균을 과도하게 좌우하지 못하게 한다. 방향은 유지하되 크기만 제한하는 방식이다. 둘째, 평균 그래디언트에 세심하게 보정된 가우시안 노이즈를 더한다. 노이즈는 한 번만 등장한 신호를 씻어내지만, 여러 번 반복되는 패턴은 노이즈 위로 떠올라 여전히 학습된다.

이 방식이 작동하려면 매우 큰 배치가 필요하다. 젬마의 경우 한 배치에 50만 개가 넘는 예시가 들어간다. 배치가 작으면 거의 모든 것이 '한 번짜리'처럼 보여 씻겨나가기 때문이다. 볼트젬마는 파인튜닝이 아니라 전체 사전학습 단계에 이 기법을 적용했는데, 민감한 정보는 나중에 파인튜닝으로 지우기 어려우므로 애초에 가중치에 새기지 않는 편이 안전하기 때문이다.

실제 측정 결과, 차등 정보보호 없이 학습한 20억 파라미터 젬마 1은 검사한 학습 시퀀스의 약 1%를 정확히 재현했고, 젬마 2는 약 0.04%였던 반면, 차등 정보보호를 적용한 볼트젬마는 0%였다. 다만 정확도 측면에서 볼트젬마는 최신 수준이 아니라 5년 전 GPT-2와 비슷한 성능에 머문다.

주요 인사이트

• 차등 정보보호의 핵심 원리는 '개별 샘플이 모델 가중치에 미치는 영향에 상한을 두는 것'이다. 클리핑으로 크기를 제한하고 노이즈로 희소 신호를 덮는다.
• 이론적 보장은 '외부 관찰자가 특정 학습 시퀀스가 학습에 포함되었는지 높은 확신으로 알아낼 수 없다'는 형태로 주어진다. 모델 파라미터가 그 데이터가 없던 세계와 통계적으로 구별되지 않는다는 뜻이다.
• 볼트젬마는 '대규모 사전학습에서도 강력한 프라이버시 보장이 가능하다'는 실현 가능성의 증명에 가깝다. 실용 수준의 성능까지는 아직 과제가 남아 있다.
• 한계가 분명하다. 차등 정보보호는 '비밀'과 '희귀한 사실'을 구분하지 못한다. 한 번만 나오면 무엇이든 잊히고, 반대로 독점 정보가 학습 자료에 수천 번 반복되면 정상 패턴처럼 보여 보호되지 않는다.
• 영상은 차등 정보보호가 본질적으로는 사전학습 이전의 신중한 데이터 정제로 다뤘어야 할 문제를 사후에 보정하는 성격이 있다고 지적한다.

자주 묻는 질문

관련 AI 소식