LLM 언러닝이 매번 되살아나는 이유와 PCA로 일반 표현을 걷어내는 선택적 제거 기법

핵심 메시지

• 발표자는 안전 미세조정이 매우 얕은 장치라고 지적했다. 어떤 연구에서는 적대적 예시 10개와 20센트어치 미세조정만으로 모델이 어떤 요청에도 응하도록 되돌릴 수 있었고, 무관한 학습을 시키다 실수로 안전 장치가 풀리는 경우도 있다.
• 해석가능성 연구를 인용해, 선호 최적화(DPO)를 거쳐도 유해한 뉴런은 의미가 그대로 남고 활성화만 줄어든다고 설명했다. 지식을 지운 것이 아니라 덜 쓰이게 만든 것이다.
• 특정 뉴런을 0으로 만드는 방식도 실패한다. 비슷한 의미를 가진 다른 뉴런이 역할을 대신하도록 재학습되기 때문에, 제거한 개념이 놀랄 만큼 빨리 되돌아온다.
• 발표자의 핵심 발견은 언러닝이 지나치게 일반적인 표현을 건드린다는 점이다. '프랑스의 수도는 파리'를 지우면 스페인과 중국의 수도까지 최대 84% 강도로 함께 무너지는데, 이 현상은 참인 사실에서만 나타났다.
• 제안한 기법은 활성화와 기울기에 PCA를 적용해 가장 흔한 방향을 찾아 제거한 뒤 갱신값을 계산한다. 그 결과 일반 성능 손상은 30배 작으면서 공격 이후 남는 제거 효과는 30배 컸다.

쉽게 이해하기

AI 세이프티 폴란드가 격주로 여는 온라인 세미나에서 필립 손데이 연구원이 지난 1년간의 언러닝 연구를 발표했다. 언러닝은 이미 학습된 언어모델에서 특정 지식이나 성향을 지우는 작업이다. 그는 왜 이 문제를 붙들고 있는지부터 설명했다. 첫째는 생물무기나 사이버 범죄에 쓰일 지식과 개인정보를 지우는 일, 둘째는 모델이 자신을 감시하는 장치를 알지 못하게 만드는 일, 셋째는 권력 추구나 기만 같은 성향 자체를 제거하는 일이다. 발표는 그중 가장 쉬운 첫 번째 과제조차 아직 제대로 되지 않는다는 진단에서 출발했다.

그가 든 근거는 두 갈래다. 하나는 안전 미세조정의 취약함이다. 적대적 예시 10여 개와 20센트 남짓한 비용으로 거부 장치가 풀렸다는 연구, 전혀 무관한 학습 도중에 안전 장치가 우연히 깨졌다는 사례가 소개됐다. 다른 하나는 해석가능성 쪽 관찰이다. 유해성을 분류하는 프로브로 찾아낸 뉴런들은 선호 최적화를 거친 뒤에도 의미가 그대로였고, 다만 덜 활성화될 뿐이었다. 발표자는 이를 두고 널리 쓰이는 방식임에도 대단히 얕은 기제라고 평가했다.

그렇다면 문제의 뉴런을 아예 없애면 되지 않느냐는 접근도 이미 시도됐다. 그러나 특정 개념과 관련된 뉴런을 0으로 만든 모델을 다시 미세조정하면, 비슷한 의미를 지닌 다른 뉴런들이 빈자리를 메우면서 지운 개념이 빠르게 복구됐다. 지식이 여러 곳에 흩어져 저장되기 때문이고, 뉴런 하나가 여러 일을 겸하기 때문에 통째로 잘라내면 부작용도 크다. 실제로 작동하는 기법으로는 언러닝 후 모델에 잡음을 섞어 망가뜨린 뒤 원래 출력을 따라 하도록 재학습하는 증류 계열이 소개됐는데, 비용이 크다는 점이 단점으로 언급됐다.

발표의 전환점은 언러닝이 얼마나 무차별적인지를 보여준 실험이었다. '프랑스의 수도는 파리'라는 사실 하나를 지우자 스페인의 마드리드, 중국의 베이징 같은 다른 수도 지식이 최대 84% 강도로 함께 손상됐다. 반대로 '프랑스의 수도는 마드리드' 같은 거짓 문장을 지울 때는 이런 파급이 없었다. 발표자는 이를 두고 특정 사실이 아니라 '수도'라는 개념이나 문법 같은 더 기본적인 표현이 함께 부서지는 것으로 해석했다. 앞선 연구들에서 지운 사실이 재학습으로 쉽게 되살아난 것도 같은 원인이라는 설명이다.

해법은 갱신값을 계산하기 전에 표현을 정제하는 것이다. 큰 말뭉치에서 각 가중치 행렬로 들어오는 활성화와 역전파로 되돌아오는 기울기를 모아 PCA로 가장 흔한 방향들을 찾고, 그 성분을 걷어낸 나머지로만 갱신을 계산한다. 일반적인 문법이나 빈번한 표현은 건드리지 않고 해당 사실에 특유한 부분만 겨냥하려는 것이다. 생물·화학·사이버 보안 지식을 묻는 공개 벤치마크로 측정한 결과, 이 방식은 일반 텍스트 성능 손상이 0.1% 수준에 머무르면서도 재학습 공격 뒤까지 정확도가 무작위 수준에 남았다. 발표자는 손상 정도와 되살아나는 정도가 서로 강하게 연결돼 있다는 점을 데이터로 보이며, 일반 성능이 망가진다면 잘못된 표적을 때리고 있다는 신호라고 정리했다.

주요 인사이트

• '일반 성능이 함께 나빠진다'는 흔한 부작용을 발표자는 부작용이 아니라 진단 지표로 뒤집어 읽는다. 무관한 능력이 무너진다는 것은 제거 대상이 아니라 공통 표현을 때리고 있다는 뜻이고, 그렇게 지운 것은 결국 되돌아온다.
• 지식이 뉴런 단위가 아니라 행과 열 단위로 얽혀 있다는 관찰이 흥미롭다. 개별 가중치를 걸러낼 때보다 행과 열을 통째로 가릴 때 부작용이 훨씬 줄었지만, 그 방식은 지나치게 많은 정보를 함께 날린다는 한계가 있었다.
• 제거 대상이 참인 사실일 때만 파급이 크게 나타난 점은, 모델이 사실을 개별 항목이 아니라 서로 맞물린 구조로 담고 있음을 시사한다. 거짓 문장은 그 구조에 걸려 있지 않아 지워도 주변이 흔들리지 않는다.
• 질의응답에서는 지식을 지워도 모델이 검색으로 메울 수 있다는 반론이 나왔다. 발표자는 그래도 내부 지식을 없애면 맥락 접근을 통제하고 사고 과정을 감시할 여지가 생겨 위험한 행동의 문턱이 높아진다고 답했다.
• 언러닝을 접근 제어 수단으로 쓰자는 아이디어도 제시됐다. 생명과학 지식을 지운 모델과 보안 지식을 지운 모델을 나눠 두고 필요할 때만 서로 대화하게 하면, 둘이 지식을 합치는 과정이 감시 가능한 사고 과정으로 드러난다는 구상이다.

자주 묻는 질문

관련 AI 소식