LLM 안전성 형식 검증: 위험 확률을 수치로 계산하는 정형 기법 연구 발표 정리

핵심 메시지

• 지금의 AI 안전성 평가는 프롬프트를 만들어 응답 몇 개를 뽑아 보는 방식이라, '이 프롬프트에서 위험한 출력이 나올 수 있는가'라는 단순한 질문조차 답하지 못한다.
• 모델은 하나의 답이 아니라 확률 분포를 내놓기 때문에, 안전 여부는 예·아니오가 아니라 위험한 출력이 차지하는 확률 질량으로 봐야 한다.
• 연구팀은 생성 과정을 트리로 두고 규칙을 어긴 가지를 조기에 잘라내며 위험 확률의 상한과 하한을 좁혀가는 검증 알고리즘을 만들었다.
• 함수 호출 순서에 시간 논리 제약을 강제한 실험에서는 규칙 준수율이 100%가 되면서 작업 성능까지 함께 올라갔다.
• 발표자는 데이터를 대량으로 모으는 방식만 확장 가능하다고 보는 통념에 반박하며, 정형 기법의 역할을 넓혀야 한다고 주장했다.

쉽게 이해하기

일리노이대(UIUC) 가간딥 싱 교수가 학술 행사 PAgE 2026 기조 강연에서 프런티어 AI 시스템에 형식 검증(정형 기법)을 적용해 온 연구를 정리해 발표했다. 그는 3만 명 넘는 개발자를 대상으로 한 설문에서 AI 에이전트 사용의 가장 큰 걱정거리로 보안과 프라이버시 위험이 꼽혔다는 점, 일리노이주가 뉴욕·캘리포니아에 이어 제3자 감사를 포함한 책임법을 통과시켰다는 점을 출발점으로 삼았다.

그가 문제 삼은 것은 평가 방식 자체다. 경제학자들이 내놓는 수조 달러 규모의 AI 파급 효과 전망은 위험을 계산에 넣지 않은 낙관적 가정 위에 서 있고, 안전성 평가 역시 '임의로 프롬프트를 만들고 응답을 모아 보고하는' 임기응변에 가깝다는 것이다. 그래서 그는 가장 단순한 질문부터 다시 던진다. 주어진 프롬프트 하나에 대해 이 모델이 위험한 출력을 낼 수 있는가.

이 질문이 어려운 이유는 모델이 답 하나가 아니라 가능한 모든 출력에 대한 확률 분포를 내놓기 때문이다. 몇 개를 뽑아 봤을 때 안전했다고 해서 뽑지 않은 응답이 안전하다는 보장은 없다. 폐쇄형 모델의 결정적 디코딩조차 부동소수점 오차 때문에 완전히 결정적이지 않다. 실제로 공개 모델에서는 응답 앞부분을 강제로 채워 넣는 '프리필 공격'만으로 안전 학습이 뚫리는데, 정렬 학습의 효과가 앞쪽 몇 개 토큰에 몰려 있기 때문이라는 분석이 함께 제시됐다.

연구팀의 접근은 위험을 이분법이 아니라 확률로 다루는 것이다. 생성 과정을 토큰 트리로 보고, 앞부분만으로 이미 규칙을 어긴 가지는 통째로 잘라내며 안전한 응답의 확률 하한과 상한을 좁혀 나간다. 언제 멈추더라도 타당한 구간을 얻을 수 있는 방식으로, 수학 추론 과제에서는 30여 번의 순전파로 몇 초 만에 구간이 좁혀졌다. 안전하지 않은 코드 생성과 편향 응답 실험에서는 단순 샘플링이 사례를 하나도 찾지 못한 조건에서도 무시할 수 없는 위험 확률을 찾아냈다.

발표 후반부는 배포 이후로 넘어간다. 함수 호출 순서에 '민감 정보를 주기 전에 인증을 먼저 호출하라' 같은 시간 논리 제약을 강제하는 오케스트레이터, 계획 담당 모델이 만든 에이전트 프로그램의 각 호출에 지역 계약을 붙이고 검증기로 확인하는 구조가 소개됐다. 규칙 준수율이 100%로 올라갔을 뿐 아니라 작업 성능도 최신 상용 모델을 앞섰다는 결과가 제시됐다.

주요 인사이트

• '안전하다'는 판정은 연속적인 값이다. 어떤 모델은 위험한 응답의 확률이 10의 마이너스 20제곱 수준이고 다른 모델은 0.5인데, 예·아니오로 물으면 두 모델이 같은 등급을 받는다. 확률 질량으로 물어야 모델 선택에 쓸 수 있는 정보가 나온다.
• 이 접근의 핵심 기법은 조기 가지치기다. 응답 앞부분에서 이미 개인정보 노출이나 금지 동작이 확인되면 뒤를 생성할 필요가 없고, 그 아래 가지 전체를 계산에서 제외할 수 있어 검증 비용이 크게 줄어든다.
• 프롬프트 분포를 명세하는 실험에서는 지식 그래프로 문제를 만들고 방해 정보와 동의어, 문장 순서 섞기를 넣었다. 최상위 상용 모델도 잡음이 들어가면 정답 확률이 떨어졌는데, 의료 지식 그래프에서는 엉뚱한 약을 답하는 사례가 나왔다.
• 대화가 길어질수록 위험이 커진다는 점도 확인됐다. 곧바로 묻지 않고 우회해서 접근하는 다중 턴 대화 분포에서는 모델별 편차가 컸고, 이 평가 방식은 실제 기업의 모델 평가에도 쓰이고 있다고 소개됐다.
• 발표자는 '수십억 달러를 들여 데이터를 모으는 것은 확장 가능하고 정형 기법은 확장 불가능하다'는 통념이 이상하다고 지적했다. 클라우드 비용 100달러가 부담인 개발자에게는 그 전제부터 성립하지 않는다는 것이다.

자주 묻는 질문

관련 AI 소식