사전학습 데이터 필터링으로 오픈웨이트 AI 모델을 더 안전하게 만드는 방법과 실험 결과

핵심 메시지

• 오픈웨이트 모델은 사용자가 가중치를 직접 고칠 수 있어, 거부 학습 같은 사후 안전장치를 파인튜닝 몇 번으로 무력화할 수 있다.
• 현재의 언러닝·회로 차단 기법은 위험 지식을 제거하는 것이 아니라 억누르는 데 그쳐, 파인튜닝하면 억눌린 지식이 되살아난다.
• 연구진은 사전학습 데이터 자체에서 위험 지식을 걸러낸 뒤 6.9B 모델을 처음부터 학습시켜 인과적인 비교를 시도했다.
• 필터링한 모델은 위험 지식 벤치마크 점수가 크게 떨어지면서도 MMLU 등 일반 지식 성능은 거의 유지됐다.
• 다만 프롬프트에 정보를 직접 넣어 주면 필터링 모델도 답을 찾아내므로, 데이터 필터링만으로는 모든 위협을 막지 못한다.

쉽게 이해하기

발표자 카일 오브라이언은 영국 케임브리지 ERA의 연구 펠로로, EleutherAI·옥스퍼드 대학·영국 AI 보안연구소와 함께 진행한 '딥 이그노런스(Deep Ignorance)' 연구를 소개한다. 문제의식은 단순하다. 언어모델은 인터넷 규모의 사전학습 과정에서 유용한 능력과 함께 위험한 지식도 배우는데, 한번 배운 뒤에는 잊게 만들기가 대단히 어렵다는 것이다.

특히 오픈웨이트 모델에서 이 문제가 두드러진다. 사용자가 모델을 내려받아 로컬에서 가중치를 수정할 수 있기 때문에, '위험한 질문에는 거부하도록 학습시킨다'는 표준적 대응은 파인튜닝 몇 번으로 쉽게 풀려 버린다. 발표자는 이를 안전장치 '탬퍼링(변조)'이라 부른다. 언러닝 기법도 사정은 비슷해서, 최신 기법 대부분이 지식을 지우는 대신 억누르기만 하기 때문에 무해한 데이터로 파인튜닝해도 잊었다던 내용이 되살아난다.

그래서 연구진은 순서를 뒤집었다. 학습이 끝난 뒤 지우는 대신, 애초에 배우지 못하게 하자는 것이다. 실험 대상은 생물학적 위험 지식인데, 정보 위험을 피하기 위해 실제 위험 지식이 아니라 그와 닮은 대리 지식을 다뤘고 평가에는 공개 벤치마크 WMDP를 썼다. 필터링 파이프라인은 두 단계다. 라마 3.3 70B로 만든 약 6,000개 키워드 차단 목록이 문서를 1차로 걸러 약 10%만 통과시키고, 그다음 소형 ModernBERT 분류기가 최종 판정을 내린다. 문자열 검색은 CPU만으로 병렬 처리되기에 전체 필터링 비용은 학습 연산량의 1% 미만에 그쳤다.

결과는 세 갈래다. 첫째, 능력 억제 자체가 통했다. 필터링 없이 학습한 기준 모델이 WMDP에서 약 40%를 기록한 반면, 필터링 모델은 약 30%까지 떨어졌다. 둘째, 일반 성능은 거의 손상되지 않았다. 데이터의 몇 퍼센트를 덜어냈는데도 MMLU를 비롯한 주요 벤치마크에서 유의미한 하락이 관찰되지 않았고, 발표자 본인도 과도 필터링을 우려했다가 생각을 바꿨다고 말한다.

셋째가 연구진이 가장 중요하게 꼽는 결과인 변조 저항성이다. WMDP 출처 논문 2만여 편으로 두 에폭 동안 파인튜닝해도 필터링 모델은 기준 모델 수준까지 올라오지 못했다. 비교 대상인 회로 차단 기법은 소량의 파인튜닝만으로도 성능이 급격히 되살아났고, 심지어 위키백과 같은 일반 텍스트로 파인튜닝해도 무너졌다. 반면 필터링 모델은 일반 텍스트 파인튜닝에서는 거의 변동이 없었다.

주요 인사이트

• 안전장치를 '사후 억제'에서 '사전 예방'으로 옮기면 공격자가 치러야 할 비용 구조 자체가 달라진다. 지식을 되살리려면 고품질 도메인 데이터를 대량으로 확보해야 하므로, 자원이 적은 공격자에게는 실질적인 장벽이 된다.
• 데이터를 몇 퍼센트 덜어내도 일반 벤치마크가 흔들리지 않았다는 점은, 필터링에서 오탐(false positive)의 비용이 생각보다 낮다는 뜻이다. 필터를 보수적으로 짤 여지가 생긴다.
• 필터링 모델도 프롬프트에 지문을 직접 넣어 주면 정답을 잘 찾아냈다. 검색 증강이나 도구 사용이 일반화된 환경에서는 '모르게 만들기'만으로 부족하고 다층 방어가 필요하다는 뜻이다.
• 모든 주제에 필터링이 정답인 것은 아니다. 발표자는 유해 표현처럼 능력 자체는 단순하고 문화적 맥락 이해가 관건인 영역에서는 데이터를 걸러내면 오히려 무엇을 거부해야 할지 배우지 못한다는 반대편 연구들을 함께 소개한다.
• 프런티어 기업은 학습 데이터와 아키텍처가 민감 정보라 이런 연구를 공개적으로 하기 어렵다. 학습 비용이 실험 한 건당 3만 달러 수준까지 내려온 지금, 외부 연구 커뮤니티의 역할이 오히려 커진다.

자주 묻는 질문

관련 AI 소식