AI 에이전트 보안 유리상자 접근법: 모델 내부 활성값으로 의도와 강도를 탐지한다

핵심 메시지

• 현재 AI 보안은 호스트 기반과 네트워크 기반으로 나뉘는데, 둘 다 프롬프트가 평문으로 남아 있는 구간에서만 작동한다.
• 발표자는 모델의 순전파에 훅을 걸어 활성값을 수집하고, 여기서 '의도'와 그 '강도'를 읽어내는 유리상자 방식을 제안했다.
• 금지어 목록 대신 개념 자체를 탐지하면 '은행을 털려면'과 '은행에서 펜을 가져가려면'처럼 표현이 비슷한 요청을 강도로 구분할 수 있다.
• 활성값 데이터는 양이 엄청나 잔차 스트림과 관련 층만 골라 훅을 걸고, 작은 모델을 계측해 옆에서 돌리는 방식으로 비용을 낮춘다.
• 자율 에이전트는 경계선 방어를 우회하기 때문에, 행동이 일어나기 전에 생각을 가로채는 의미 기반 관측이 필요하다는 것이 결론이다.

쉽게 이해하기

산업 제어 시스템과 임베디드 취약점 연구를 해 온 칼 허드가 콘퍼런스 [un]prompted 2026에서 'Glass-Box Security'를 주제로 발표했다. 국립연구소를 거쳐 시스코 탈로스에서 7년간 제로데이 연구와 탐지 룰 작성을 했고, VPN필터 악성코드 분석과 PLC 백플레인 침입 탐지 시스템 공개에 참여한 이력을 소개하며, 문서화되지 않은 독자 프로토콜에서 탐지 콘텐츠를 만들어 온 경험이 AI에도 그대로 적용된다고 말했다.

그가 정리한 현재 시장의 해법은 두 가지다. 호스트 쪽에서 eBPF나 윈도 이벤트 추적으로 들여다보는 방식과, 네트워크 앞단에 프롬프트 방화벽을 두는 방식이다. 정규식이나 평문 검사, 입력 정제, 심판 모델 같은 수단이 여기에 얹힌다. 문제는 프롬프트가 임베딩으로 바뀌고 라우팅을 거쳐 수십 개 층을 통과하는 구간에는 아무 관측 수단이 없다는 점이다.

대안으로 제시된 것이 모델 내부를 들여다보는 유리상자 접근이다. 기계적 해석 가능성 연구에서 쓰는 방식대로 순전파에 훅을 걸어 활성값을 모으고, 미리 확보해 둔 개념 벡터와의 코사인 유사도로 특정 의도가 존재하는지 판단한다. 다만 유사도는 방향만 알려주기 때문에, 내적을 이용한 스칼라 사영으로 그 개념이 전체 활성 중 얼마나 큰 비중을 차지하는지를 함께 측정한다. 여러 개념이 좁은 공간에 겹쳐 담기는 중첩 현상 속에서 잡음을 걸러내기 위한 장치다.

실용화의 걸림돌도 솔직하게 나열됐다. 상용 프런티어 모델은 활성값을 내주지 않으므로 추론 스택을 직접 소유해야 하고, 활성값은 첫 토큰만으로도 수 메가바이트, 문맥 창을 채우면 수 테라바이트에 이른다. 어떤 층이 특정 개념에 가장 크게 반응하는지, 어느 크기부터 차단할지는 모델마다 실측해서 정해야 한다. 무엇보다 이 내용을 일반 탐지 엔지니어가 다룰 수 있는 형태로 만들어야 한다.

해법으로는 계측한 작은 모델을 카나리아처럼 옆에 두고 요청을 흘려보내는 방식, 잔차 스트림과 필요한 층에만 훅을 거는 최적화, 그리고 야라나 시더 같은 기존 오픈소스 표준을 확장해 'AI 네이티브' 룰을 쓰게 하자는 제안이 제시됐다. 예컨대 파일 삭제 의도가 특정 층에서 일정 강도 이상으로 나타나면 차단하는 식의 룰이다.

주요 인사이트

• 발표의 핵심 주장은 사이버 보안이 이미 겪은 성숙 과정을 AI에서 반복하지 말자는 것이다. 시그니처와 평문 검사에서 행위 기반 탐지로 넘어온 것처럼, AI에서도 문자열이 아니라 내부 상태에 근거한 탐지로 바로 넘어가야 한다는 것이다.
• 개념 단위 탐지의 장점은 금지어 목록의 한계를 넘는다는 데 있다. 절도와 관련된 단어를 모두 막는 대신 '불법'이라는 개념이 프롬프트 안에 얼마나 강하게 존재하는지를 보면, 은행 강도와 펜 한 자루를 구분할 수 있다.
• 에이전트는 모델이 판단 루프 안에 들어간 형태여서, 모델이 스스로 정한 목표를 향해 알려진 모든 우회 기법을 시도할 수 있다. 가능한 모든 경우를 문법적 규칙으로 적는 것은 현실적으로 불가능하다는 지적이다.
• 이 접근은 보안을 넘어선다. 에이전트가 어떤 판단을 왜 내렸는지 추적하려면 모델의 어느 부분이 활성화됐고 어느 부분이 무시됐는지 측정해야 하며, 이는 보상 해킹이나 테스트 삭제 같은 편법을 잡아내는 근거가 될 수 있다.
• 질의응답에서는 이 지표가 절대값이 아니라 모델별 상대값이라는 점, 검색 증강 파이프라인 전후로 의도 변화를 비교하면 간접 프롬프트 주입 탐지에 쓸 수 있다는 점, 그리고 의도 자체가 정당해 보이는 악용에는 에이전트 신원과 권한 관리가 함께 필요하다는 점이 짚였다.

자주 묻는 질문

관련 AI 소식