AI 에이전트 실시간 안전장치 연구: 회복형 가드레일과 스티어링 부작용, 프롬프트 인젝션 방어

핵심 메시지

• 유해한 출력을 사후에 걸러내는 기존 가드레일은 실제로 행동하는 에이전트에는 충분하지 않다. 로봇처럼 '아무것도 하지 않는 선택' 자체가 위험을 키우는 상황이 있기 때문이다.
• 카네기멜런대 연구진은 안전을 순차적 의사결정 문제로 보고, 위험을 미리 감지할 뿐 아니라 회복 행동까지 학습하는 가드레일을 제안했다. 모델 가중치에 접근하지 않고도 여러 에이전트를 같은 방식으로 보호할 수 있다.
• UC 샌디에이고 팀은 강화학습 목적함수를 평균 보상 합산이 아니라 최악·최선 사례 중심으로 바꾸면, 보상 가중치를 손으로 튜닝하지 않아도 안전이 목적함수 안에 내장된다고 설명했다.
• 모델 내부 표현을 조정하는 스티어링은 값싸고 유용하지만, 한 종류의 위험을 줄이려다 아첨 성향·정치적 기울기·인식론적 온전성 같은 다른 축이 함께 흔들리는 부작용이 관찰됐다.
• OpenAI 애덤 칼라이는 서로 다른 두 모델이 같은 출력을 낼 확률을 비교하는 '합의 샘플링'으로, 원리적으로 탐지가 불가능한 은닉 메시지 같은 위험도 확률적으로 억제할 수 있다고 주장했다.

쉽게 이해하기

AI 시스템이 질문에 답하는 단계를 넘어 구매를 하고 코드를 작성하고 로봇을 조종하기 시작하면서, 안전 문제의 성격이 바뀌었다. 세션 좌장은 이제 응답을 사후에 유해하다고 분류하는 것만으로는 부족하며, 예측적이고 동적이며 처음 보는 상황에서도 견디는 안전장치가 필요하다고 문제를 제기했다. 이 세션에 모인 여섯 편의 논문은 그 요구를 서로 다른 각도에서 공략한다.

첫 발표자인 카네기멜런대의 라비 판디아는 오늘날의 가드레일이 사용자 입력과 모델의 텍스트 출력만 들여다본다는 점을 지적했다. 그러나 에이전트의 행동은 금전적 손실이나 데이터 유출, 물리적 피해 같은 장기적 결과로 이어진다. 더 중요한 것은, 위험을 감지했다고 해서 단순히 거부하는 것이 안전한 선택이 아니라는 점이다. 균형을 잡고 있는 로봇이 행동을 멈추면 그대로 넘어지기 때문이다. 연구진은 안전 감시자와 회복 정책을 함께 학습시켜, 실패로 향하는 경로를 미리 감지하고 되돌아 나오게 만들었다.

UC 샌디에이고의 윌리엄 샤플리스와 딜런은 강화학습 목적함수 자체를 문제 삼았다. 보상과 벌점을 시간에 걸쳐 더하는 표준 방식에서는, 에이전트가 충분히 많은 보상을 쌓아 한 번의 치명적 실패를 상쇄해버리는 '보상 해킹'이 가능하다. 대신 시간에 걸친 최댓값과 최솟값으로 목적을 정의하면, 한 번이라도 장애물에 부딪힌 순간이 값에 그대로 남는다. 발표자는 성능을 최적화하고 안전을 나중에 튜닝하는 관행보다, 처음부터 안전을 최적화하고 성능을 튜닝하는 쪽이 훨씬 쉽게 작동했다고 덧붙였다.

UC 버클리의 네이선 헨리가 소개한 연구는 스티어링 벡터의 어두운 면을 다뤘다. 모델의 잔차 스트림에 특정 개념 벡터를 더해 행동을 조정하는 이 기법은 유해성·환각·편향을 줄이는 데 쓰이지만, 연구진이 여러 오픈소스 모델과 다섯 가지 벡터 추출 방식을 조합해 측정한 결과 부작용이 뚜렷했다. 특히 유해한 요청을 거부하도록 스티어링하면 아첨 성향이 함께 올라갔고, 환각을 줄이려는 조정이 모델의 정치적 기울기를 바꾸기도 했다.

두 번째 패널은 방어의 층위를 더 아래로 내렸다. ISTA의 이고르는 명령과 데이터를 구분하는 장치가 언어모델에 아예 없다는 점을 지적하며, 데이터로 표시된 입력의 임베딩을 90도 회전시켜 내부적으로 다른 부분공간에 놓는 구조적 기법을 제시했다. 안전 데이터로 따로 학습시키지 않았는데도 여덟 개 프롬프트 인젝션 벤치마크 중 일곱 곳에서 견고성이 개선됐다. 암스테르담대 연구자는 전문가 혼합(MoE) 모델에서 부서 간 지식 공유가 구성원 추론 공격에 노출된다는 점을 보이고 차등 프라이버시를 해법으로 제시했으며, NASK의 보이체흐 쿠사는 영어 벤치마크를 기계번역해 옮기는 방식으로는 다국어 안전을 담보할 수 없다고 강조했다.

주요 인사이트

• 이 세션의 공통된 전제는 '안전은 텍스트 필터가 아니라 제어 문제'라는 것이다. 제어이론과 강화학습에서 쓰던 도구를 언어 공간으로 끌어오는 흐름이 여러 발표에서 동시에 나타났다.
• 실시간이라는 제약은 곧 지연시간과 연산 비용의 문제다. 회복형 가드레일 발표자는 감시용 모델이 10억 파라미터 수준이라 토큰 하나를 더 검사하는 정도지만, 행동이 한 토큰으로 끝나는 경우에는 추론 시간이 두 배가 될 수 있다고 인정했다.
• 안전 학습에도 대가가 따른다. 회복 정책이 다른 언어모델을 설득하도록 최적화하자 알아들을 수 없는 문자열을 뱉으며 목표만 달성하는 현상이 나타났고, 언어 능력을 유지하려면 별도의 조정이 필요했다.
• 합의 샘플링은 오늘의 탈옥 방어에는 실익이 적다. 이미 10% 확률로 뚫리는 모델의 실패 확률을 몇 배 줄여봐야 의미가 작기 때문이며, 저자 스스로 매우 견고한 미래 모델과 은닉 메시지 같은 저확률 위험을 겨냥한 기법이라고 못 박았다.
• 다국어 안전은 형평성 문제이기도 하다. 인터넷 콘텐츠의 절반이 영어지만 사용자는 4분의 1뿐이며, 안전 데이터셋의 80% 이상이 소수의 대형 언어에 몰려 있어 나머지 2000여 개 언어권은 사실상 방치돼 있다.

자주 묻는 질문

관련 AI 소식