SAeUron 해설: 희소 오토인코더로 확산 모델에서 특정 개념만 골라 지우는 언러닝 기법

핵심 메시지

• SAeUron은 확산 모델의 가중치를 바꾸지 않고, 생성 과정에서 특정 개념에 해당하는 내부 특징만 눌러 그 개념을 만들지 못하게 한다.
• 신경망은 여러 개념을 압축해 겹쳐 담기 때문에(중첩), 뉴런 하나가 개념 하나에 대응하지 않는다. 희소 오토인코더는 이 얽힌 활성값을 5만 개 규모의 '개념 사전'으로 풀어낸다.
• 확산 모델의 여러 블록 중 어느 층이 스타일 정보를 주입하는지 층을 하나씩 건너뛰며 찾아낸 뒤, 그 층의 활성값으로 오토인코더를 학습시켰다.
• 프롬프트가 아니라 모델 내부 활성값에 직접 개입하기 때문에, 프롬프트를 비틀어 우회하려는 공격에도 잘 견딘다는 점이 기존 방식과의 차이다.
• 발표자는 한계도 분명히 짚는다. 고양이를 지우면 호랑이의 수염까지 영향을 받고, 이후 파인튜닝 과정에서 지웠던 개념이 되살아나는 문제는 아직 풀리지 않았다.

쉽게 이해하기

이 발표는 AI Safety Poland의 격주 세미나에서 바르샤바공대 교수이자 IDEAS 연구소 팀 리더인 카밀 데야가 진행한 자신의 박사 연구 소개다. 주제는 이미지 생성에 쓰이는 확산 모델에서 원치 않는 개념을 '지우는' 언러닝이며, 접근 방식은 기계적 해석가능성 쪽에서 온다. 발표자는 파이프를 그린 그림 아래 '이것은 파이프가 아니다'라고 적은 마그리트의 작품에서 이야기를 시작한다. 그림은 파이프 자체가 아니라 파이프의 표상이듯, 큰 모델 안에도 우리가 개념이라 부를 만한 표상이 들어 있는지가 출발점이다.

이론적 근거는 고차원 표상 공간에서 개념이 선형 방향으로 나타난다는 선형 표상 가설이다. 문제는 신경망이 학습 과정에서 정보를 저차원으로 압축하면서 여러 개념을 한데 얽어 놓는다는 점이다. 첫 번째 뉴런이 파이프, 두 번째가 고양이 식으로 깔끔하게 나뉘지 않고, 여러 뉴런이 가리키는 방향의 조합이 하나의 개념이 되는 중첩이 일어난다. 이 얽힘을 풀기 위해 연구팀은 희소 오토인코더를 쓴다. 입력을 그대로 복원하도록 훈련하되 잠재 공간을 원래보다 몇 배로 키우고, 활성값 하나를 인코딩할 때 상위 k개의 특징만 쓰도록 제한해 각 활성값이 소수의 서술적인 특징으로 표현되게 만든다.

실제 적용은 네 단계로 진행된다. 먼저 개입할 층을 고른다. 오래된 스테이블 디퓨전만 해도 아홉 개 블록이 있어, 층을 하나씩 건너뛰며 출력이 어떻게 달라지는지 관찰했더니 특정 어텐션 층을 건너뛰자 이미지에서 만화풍 스타일이 사라졌다. 그 층이 프롬프트의 스타일 정보를 이미지에 입히는 지점이었다. 다음으로 사전학습된 모델을 5만 번가량 프롬프트해 그 층의 활성값을 모으고, 이를 재료로 약 5만 개 특징의 희소 오토인코더를 학습시켰다. 이때 이미지 표상이 픽셀 영역별 벡터라는 점을 살려 개별 위치의 표상을 입력으로 썼는데, 덕분에 나중에 어떤 특징이 이미지의 어느 부분에 대응하는지 되짚어 볼 수 있었다.

세 번째는 특징 선택이다. 예컨대 개구리는 지우되 오리는 지키고 싶다면, 두 개념의 활성값을 각각 인코딩해 개구리에서만 활성화되고 다른 개념에는 반응하지 않는 특징을 고른다. 마지막이 추론 시점의 개입이다. 생성이 진행되는 동안 해당 특징에 음수 배율을 곱해 억제한 뒤 다시 디코딩한다. 개구리 특징이 0인 오리 생성에서는 0에 음수를 곱해도 0이므로 아무 영향이 없다. UnlearnCanvas 벤치마크에서 나무·개구리·샌드위치 같은 대상과 화풍을 각각 지우면서 나머지 대상과 화풍은 정상적으로 생성됐고, 하나의 오토인코더로 여러 개념을 동시에 지우는 것도 가능했다.

이 방식의 강점은 해석가능성과 공격 내성이다. 어떤 특징이 이미지의 어느 픽셀에서 켜지는지 되짚을 수 있어 고양이를 막을 때 실제로는 귀·수염·발 같은 특징이 차단된다는 것을 눈으로 확인할 수 있고, 개입 지점이 프롬프트가 아니라 내부 활성값이라 프롬프트를 비틀어 차단된 내용을 다시 끌어내려는 공격에도 흔들리지 않았다. 발표자는 같은 아이디어를 단백질 구조 생성과 음성 합성의 정밀 제어로도 확장하고 있다며, 단백질 쪽은 지우기보다 알파헬릭스와 베타시트의 비율을 조절하는 쪽에 가깝다고 설명했다. 다만 질의응답에서는 가중치를 그대로 두는 배포 시점 개입이라 공개 가중치 모델에서는 차단 장치를 떼어 낼 수 있다는 점, 비슷한 개념끼리 간섭이 생긴다는 점, 파인튜닝 이후 지웠던 개념이 되살아난다는 보고가 아직 풀리지 않은 숙제로 함께 언급됐다.

주요 인사이트

• 이 접근의 핵심은 '무엇을 지웠는지 보여 줄 수 있다'는 점이다. 성능 지표만 좋은 언러닝과 달리, 차단된 특징이 이미지의 어느 부분에 대응하는지 확인할 수 있어 안전장치의 검증 가능성이 올라간다.
• 프롬프트 필터링과 내부 개입은 방어 지점이 다르다. 입력을 검사하는 방식은 표현을 바꾸면 뚫리지만, 활성값을 억제하는 방식은 어떤 표현으로 요청하든 같은 지점에서 막힌다.
• 개념은 서로 독립적이지 않다는 점이 근본적 제약이다. 고양이의 수염 특징을 누르면 호랑이가 함께 흐려지듯, 언러닝의 정밀도는 개념 간 유사성의 한계를 넘기 어렵다.
• 확산 모델의 해석가능성이 언어 모델보다 뒤처진 이유가 구조에 있다는 지적도 눈여겨볼 만하다. 활성값이 3차원인 데다 디퓨전 타임스텝이라는 축이 하나 더 붙고, 영상 생성으로 가면 차원이 더 늘어난다.
• 언러닝된 개념이 이후 파인튜닝으로 되살아난다는 보고는, 배포 시점 개입이든 가중치 수정이든 '한 번 지우면 끝'이라는 가정이 위험하다는 것을 시사한다.

자주 묻는 질문

관련 AI 소식