WMDP 벤치마크와 RMU 언러닝: 대규모 언어모델에서 위험 지식만 골라 지우는 방법과 한계

핵심 메시지

• WMDP는 생물·사이버·화학 보안 분야의 객관식 문항 3,000개 이상으로 위험 지식을 간접 측정하는 공개 벤치마크다.
• 문항 자체에는 위험한 정보를 담지 않고, 공격의 전 단계·구성요소에 해당하는 '노란 등급' 지식만 전문가들이 설계했다.
• RMU는 잊게 할 데이터의 내부 표현을 무작위 방향으로 밀어내고, 유지할 데이터의 표현은 그대로 두도록 가중치를 조정하는 언러닝 기법이다.
• 실험에서 WMDP 생물·사이버 정확도는 찍기 수준까지 떨어졌지만 일반 지식(MMLU)과 대화 능력은 대체로 유지됐다.
• 언러닝된 모델은 파인튜닝으로 지식이 되살아나고, 인접 분야인 일반 바이러스학 성능까지 함께 떨어지는 문제가 남아 있다.

쉽게 이해하기

발표자는 AI 안전 비영리 연구기관 소속 연구 엔지니어로, 대규모 언어모델의 악용 가능성을 측정하고 줄이는 프로젝트를 소개했다. 지금까지는 기업이 각자 내부 평가를 하고 결과를 공개하지 않아 위험 경로를 공통으로 점검할 틀이 없었다는 문제의식에서 출발한다. 이 연구는 논문이 국제 학회에 채택돼 발표될 예정이라고 밝혔다.

WMDP는 '대량살상무기 대리(proxy)' 벤치마크라는 이름 그대로, 위험 지식을 직접 묻지 않고 그 주변 지식으로 대신 측정한다. 생물 보안에서는 미생물학처럼 일반적인 지식은 문제 삼지 않고 특정 병원체나 기능 획득 연구에 가까워지는 구간을, 사이버 보안에서는 페이로드나 감염·트리거 메커니즘 같은 공격 구성요소를 겨냥한다. 문항은 전문가와 학계·컨설턴트가 위협 모델을 먼저 설계한 뒤 그에 맞춰 작성했다.

완화 전략의 발상은 단순하다. 거절하도록 훈련해도 적대적 공격으로 우회당할 수 있으니, 애초에 해당 지식을 모델에서 없애면 사용자가 강제해도 답할 수 없다는 것이다. 이를 위해 제안된 RMU는 잊게 할 말뭉치에서 나온 은닉 표현을 무작위 방향으로 밀어내는 손실과, 유지할 말뭉치의 표현을 원래대로 붙잡아 두는 손실을 함께 최적화한다.

잊을 자료로는 해당 주제를 다루는 논문 모음을, 유지할 자료로는 위키 계열의 일반 텍스트를 썼다. 세 종류의 공개 모델에 적용한 결과 WMDP 생물·사이버 정확도는 사지선다 찍기 확률인 25% 선까지 내려간 반면, 일반 지식 벤치마크 점수는 소폭만 하락했고 대화 능력 평가에서도 큰 손상은 없었다.

다만 언러닝된 모델이 위험 주제에서 내놓는 출력은 의미 없는 기호와 단어의 나열에 가까웠다. 발표자는 답하지 않는다는 점은 목적에 맞지만, 모르는 주제에 대해서도 자연스러운 문장으로 반응하도록 개선할 필요가 있다고 지적했다. 그 밖에 파인튜닝을 통한 지식 복원, 인접 지식의 동반 손실, 언러닝 경계의 정교화가 남은 과제로 제시됐다.

주요 인사이트

• 안전 필터를 얹는 접근과 지식을 지우는 접근은 방어 지점이 다르다. 전자는 우회 공격에 계속 노출되지만, 후자는 성공하면 우회 자체의 대상이 사라진다는 점에서 성격이 다른 방어다.
• 위험 능력을 재려면 위험 정보를 담아야 한다는 딜레마를, WMDP는 공격의 전 단계 지식을 묻는 대리 측정으로 우회했다. 평가 자체가 정보 위해가 되지 않도록 설계하는 것이 이런 벤치마크의 핵심 제약이다.
• 벤치마크 점수는 위험의 지표일 뿐 판정 기준이 아니다. 발표자는 특정 정답률을 넘으면 위험하다는 식의 단순한 임계값 설정에 선을 그으며, 실제 대화나 개방형 질문을 함께 봐야 한다고 답했다.
• 언러닝이 인접 분야까지 함께 지운다는 관찰은, 지식이 모델 내부에서 주제별로 깔끔히 나뉘어 있지 않다는 점을 보여 준다. 안전과 유용성의 경계를 어디에 그을지가 기술 문제로 되돌아온다.
• 표현을 밀어내는 아이디어는 설득이나 기만처럼 지식이 아닌 성향에도 응용할 여지가 있다. 발표자는 완전히 잊게 하기보다 내부 표현을 조종하는 표현 공학 쪽 연구를 가능성으로 언급했다.

자주 묻는 질문

관련 AI 소식