AI 에이전트 통신 보안 — 프롬프트 인젝션을 형식언어 CBCL과 정리증명기로 줄이는 접근

핵심 메시지

• LLM 에이전트는 자연어나 MCP처럼 느슨한 형식으로 서로, 그리고 외부 도구와 메시지를 주고받는데 이때 명령과 데이터가 같은 통로를 공유한다. 발표자들은 이를 '평평한 신뢰(flat trust)' 문제라고 부르며, 프롬프트 인젝션은 그 구조에서 예측 가능한 결과라고 설명한다.
• 지금의 주된 대응은 메시지를 검사하는 분류기를 두는 필터링이지만, 계산이론의 고전적 결과인 라이스 정리에 따르면 무엇이든 표현할 수 있는 언어에서는 어떤 필터도 안전한 메시지와 악의적 메시지를 일반적으로 구분할 수 없다.
• 그래서 이 연구는 통신 안전을 머신러닝 필터링 문제가 아니라 언어 보안 문제로 다시 놓고, 촘스키 위계에서 표현력과 검증 가능성이 균형을 이루는 결정적 문맥자유언어(DCFL) 계층을 선택했다.
• 이를 구현한 통신 언어가 CBCL이며, 에이전트끼리 새 방언을 가르쳐 도메인 특화 대화를 확장하더라도 DCFL 계층을 벗어나지 않아 확장 자체가 새로운 공격면이 되지 않는다.
• 실험에서 도구 오염 공격은 모두 차단됐고 에이전트 간 정보 유출은 1% 미만까지 떨어졌지만, 발표자들은 이것이 필요조건일 뿐 충분조건은 아니며 필터링도 여전히 역할이 있다고 분명히 못박았다.

쉽게 이해하기

발표는 에이전트가 사람의 검토 없이 다른 에이전트, 도구, 제3자 시스템과 직접 대화하는 상황을 문제의 출발점으로 잡는다. 이 경계에서 오가는 메시지는 대개 자연어이거나 MCP처럼 느슨하게 구조화된 형식이고, 지시와 데이터가 같은 채널을 쓴다. 발표자들은 실제 피해 사례로 블록체인에서 거래하던 에이전트가 트위터에 연결돼 있다가 모스 부호로 쓰인 송금 요청 트윗에 속아 20만 달러를 넘긴 사건과, 해커들이 지원 챗봇을 설득해 사용자 비밀번호를 임의로 초기화하게 만든 사건을 들었다.

현재의 표준 대응은 들어오고 나가는 메시지를 분류기로 검사해 악의적 내용을 걸러내는 것이다. 발표자들은 이것이 해답의 일부일 수는 있어도 전부는 될 수 없다고 본다. 라이스 정리는 메시지가 무엇이든 표현할 수 있는 영역에서는 안전과 위험을 일반적으로 판별하는 필터가 존재할 수 없다고 말하기 때문이다. 그렇다면 남는 선택지는 에이전트가 쓰는 언어의 표현력 자체를 좁히는 것인데, 문제는 어디까지 좁힐 것인가다.

촘스키 위계에서는 위로 갈수록 표현력이 커지고 검증 가능성이 줄어드는 맞교환이 성립한다. 연구진이 고른 절충점은 결정적 문맥자유언어다. 여기서는 모든 메시지가 모호하지 않고 판별 가능하면서도, 메시지 안에 메시지를 담는 봉투 구조 같은 중첩이 가능해 에이전트가 필요로 하는 메타데이터 부착을 지원한다. 핵심 성질은 하나의 메시지 구조가 정확히 하나의 의미만 갖는다는 것이다.

이 성질을 구현한 것이 CBCL이다. 언어가 안전하게 확장 가능해 에이전트가 서로에게 도메인 특화 방언을 가르쳐도 통신 채널에 새로운 능력이 추가되지 않고, 모든 메시지는 의미 내용을 처리하기 전에 유효성을 판별할 수 있으며, 파싱이 반드시 멈춰 크래시나 무한 대기 대신 잘 정의된 오류가 나오고, 보낼 수 있는 메시지 공간 전체를 지도로 그려 감사할 수 있다. 발표에서 든 예시는 에이전트 A와 B가 인사를 나눈 뒤 B가 메타 메시지로 문서 협업용 방언을 가르치고, 그다음부터 두 에이전트가 그 방언으로 효율적으로 대화하는 흐름이다.

주장은 말로만 그치지 않는다. 안전 보장이 성립함을 기계가 검증한 Lean 증명 7,400줄이 있고 증명에 빈틈은 없다고 밝혔으며, 거기서 추출한 검증된 파서와 그것에 대조해 검사한 빠른 러스트 구현을 아파치 2.0으로 공개했다. 다만 실험은 연구진이 방언을 미리 설계해 에이전트에게 쓰도록 강제한 조건이라 예비적 결과이고, 에이전트가 스스로 방언을 만들어 주고받는 더 현실적인 상황에서도 성질이 유지되는지는 아직 확인하지 못했다. 다음 단계는 널리 쓰이는 에이전트 간 프로토콜과의 통합이다.

주요 인사이트

• 발표를 닫는 문장인 '정의할 수 없는 것은 방어할 수도, 통치할 수도, 감사할 수도 없다'가 이 접근의 요지다. 보안 대책을 사후 탐지가 아니라 언어 설계 단계로 끌어올리자는 제안이다.
• 이 방법은 의미의 모호성을 없애지 않는다. 대신 모호성을 자연어 덩어리 전체에 흩어놓는 대신 이름이 붙은 필드 안으로 가두어, 사람이 감독할 수 있는 크기로 줄인다는 것이 발표자들의 설명이다.
• 적대적 실험에서 유출이 한 건 남았다는 사실을 발표자들이 먼저 꺼낸 점이 중요하다. 사용한 방언의 어느 필드 안에 여전히 의미 내용이 허용됐기 때문이며, 이 접근은 공격면을 크게 줄이는 것이지 제거하는 것이 아니다.
• 감사 가능성에 대한 답변도 구체적이다. 메시지 공간이 계산 가능하기 때문에 로그를 사영해 원하는 상태에 대한 질문을 던질 수 있고, 문법이 리스프에 가까운 단순한 구문이라 사람이 읽는 법을 배울 수 있다는 것이다.
• 청중이 던진 우려 — 에이전트가 스스로 언어를 만들면 사람이 못 읽는 정보 전달이 늘어나지 않느냐 — 에 대해, 발표자들은 관찰 가능한 메시지에서 보장할 수 있는 것만 다루는 행동주의적 접근을 택했고 방언은 어떤 경우에도 DCFL 안에 갇혀 있어 성질을 잃지 않는다고 답했다.

자주 묻는 질문

관련 AI 소식