LLM 안전성 평가 디코딩트러스트 정리: 독성·프라이버시·적대적 공격에서 드러난 취약점

핵심 메시지

• 여덟 개 신뢰성 항목으로 여러 언어모델을 평가한 결과, 모든 항목에서 앞서는 모델은 하나도 없었다.
• 정렬 학습을 거친 모델은 기존 벤치마크에서는 독성 점수가 크게 떨어지지만, 공격용으로 생성한 데이터 앞에서는 거의 완전히 무너졌다.
• 지시를 더 잘 따르는 상위 모델이 오히려 유도 공격에 더 취약했고, 공개 모델에서 최적화한 공격이 비공개 모델로도 전이됐다.
• 발표자는 실증적 평가만으로는 부족하다며 규제에 기반한 공통 안전 분류 체계와 보증 가능한 검증을 다음 과제로 제시했다.

쉽게 이해하기

시카고대 보 리 교수가 아파트 리서치의 AI 보안 평가 해커톤 기조 강연에서 언어모델의 신뢰성을 어떻게 측정할지 설명했다. 출발점은 평가 언어를 통일하는 일이었다. 누군가는 프라이버시를, 누군가는 편향을 이야기하는 상황에서는 비교 자체가 불가능하기 때문에, 연구팀은 독성, 고정관념 편향, 적대적 견고성, 분포 밖 견고성, 오염된 예시에 대한 취약성, 프라이버시, 기계 윤리, 공정성이라는 여덟 항목으로 나누고 각각에 대해 공격 데이터를 생성하는 알고리즘을 붙였다.

결과는 두 가지로 요약된다. 첫째, 어떤 모델도 모든 항목에서 우위를 점하지 못했다. 가장 앞선 모델이 특정 항목에서는 오픈소스 모델보다 나쁘게 나왔고, 반대로 매우 보수적인 모델은 무해한 질문에도 모른다고 답하며 유용성을 희생했다. 둘째, 항목들 사이에 상충 관계가 관찰됐고, 그 상충이 근본적인 것인지 증명하는 일은 아직 열린 문제로 남아 있다.

독성 실험은 정렬 학습의 한계를 보여준다. 기존 벤치마크에서는 정렬을 거친 모델의 독성 점수가 눈에 띄게 낮아졌지만, 연구팀이 만든 도전적 입력을 넣자 유해한 출력 비율이 거의 100%까지 치솟았다. 문제는 이 입력들이 사람 눈에는 지극히 평범해 보인다는 점이다. 적대적 견고성 실험에서도 '경험 있는'을 '숙련된'으로 바꾸는 정도의 치환만으로 감정 분류 결과가 뒤집혔다.

프라이버시 항목에서는 모델이 사전학습 데이터에 있던 이메일 주소를 글자 하나까지 정확히 일치하는 수준으로 뱉어냈다. 더 흥미로운 것은 단어 선택에 따라 행동이 갈린다는 점이다. 비밀이라고 말하는 표현을 조금만 바꾸면 같은 상황에서 모델이 정보를 지키기도 하고 그대로 흘리기도 했다. 사회보장번호처럼 민감한 항목은 잘 막혔지만 이메일이나 카드 번호는 그렇지 않았다.

마지막으로 보 리 교수는 안전 벤치마크가 난립하면서 서로 비교가 안 되는 상황을 지적하며, 규제 문서를 근거로 사용자·콘텐츠·사회 규칙·시스템 수준의 상위 분류에서 300개가 넘는 세부 항목까지 내려가는 분류 체계를 제안했다. 유럽·미국·중국의 규제가 강조하는 지점이 서로 다르다는 비교도 함께 제시하며, 자율주행이 95% 정확하다는 식의 실증 수치로는 보안 영역에서 충분하지 않다고 강조했다.

주요 인사이트

• 능력과 안전이 같은 방향으로 움직이지 않는다는 것이 이 평가의 가장 중요한 발견이다. 지시 이행 능력이 좋아질수록 악의적인 지시도 충실히 따르기 때문에, 모델을 키우는 것만으로는 안전이 따라오지 않는다.
• 공개 모델에서 만든 공격이 비공개 모델에도 통한다는 사실은 API로만 공개하는 것이 방어가 되지 못한다는 뜻이다. 학습 데이터와 구조가 겹치는 한 폐쇄성 자체는 안전 장치가 아니다.
• '비밀로'라는 표현 하나에 유출 여부가 갈린다는 결과는 프롬프트 몇 개를 넣어보고 안전하다고 판단하는 관행이 얼마나 위험한지 보여준다. 우연히 안전해 보이는 표현을 골랐을 뿐일 수 있다.
• 자동 최적화 공격과 사람의 전문 지식은 대체 관계가 아니라 순서 관계다. 어떤 표현이 문제를 일으키는지는 사람이 먼저 짚어내야 하고, 그다음부터 자동 생성이 규모를 감당한다.

자주 묻는 질문

관련 AI 소식