그룹 채팅 AI 에이전트 설계 과제: 보안 게이트, 메모리, 정보 라우팅 — 8개월 운영 사례

핵심 메시지

• 오늘 만들어지는 에이전트는 대부분 '사용자 한 명'을 전제로 설계돼 있지만, 다음 세대는 그룹을 상대하고 안경처럼 하루 종일 켜져 있을 가능성이 크다.
• 에이전트 보안은 대규모 언어 모델 보안과 다르다. 입력을 막는 대신 에이전트가 실제로 행동하는 지점에 결정론적 가드를 두는 것이 1차 방어선으로 제시됐다.
• 정적 검사를 통과한 무해한 기능 두 개가 실행 중에 결합하면 악성으로 바뀔 수 있다는 연구가 소개됐고, 관측된 공격의 약 90%가 이 형태였다고 발표자는 전했다.
• 그룹 환경에서는 모델이 엔진이고 메모리가 곧 에이전트의 정체가 된다. 무엇을 원자 단위 사실로 남기고 무엇을 잊을지가 품질과 토큰 비용을 함께 결정한다.
• 같은 정보라도 어떤 방에 놓이느냐에 따라 사적·공적 성격이 달라지므로, 권한을 코드 분기가 아니라 사용자별 어댑터 학습으로 내재화하는 접근이 제안됐다.

쉽게 이해하기

콘퍼런스 마지막 날 마지막 세션에 오른 발표자는 먼저 승리 선언부터 했다. 모델이라는 두뇌에 오케스트레이션을 감고 도구를 붙이면 에이전트가 되고, 오후에 만들기 시작하면 저녁에는 쓸 만한 일을 시작한다는 것이다. 문제는 그다음이다. 지금 만들어지는 거의 모든 에이전트는 고객이 한 명뿐이고, 기업에 배포된 프로그래밍 도우미조차 개인 한 사람을 향하고 있다.

발표자는 8개월 동안 친구와 가족 단체방에서 돌린 에이전트 사례를 들고 왔다. 콘퍼런스 참석자 단체방에서 행사장 가는 길을 물었을 때 에이전트는 단체방에 답하지 않고 개인 메시지를 보냈고, 부부가 행사를 잡을 때는 여러 사람의 일정을 맞춰 빈 시간을 찾았다. 운전 중에는 차 스피커 대신 안경으로 직접 말을 걸어 옆 사람이 듣지 못하게 했다. 세 살 딸이 나라의 수도와 숫자를 배우는 용도로도 쓰이며 부모에게 진도를 알려준다고 했다.

발표의 첫 축은 보안이다. 언어 모델은 출력을 들여다보고 대응할 수 있지만, 에이전트는 웹페이지와 단체 메시지, 누군가 올린 스크린샷, 깃허브 이슈, 홍보 메일까지 만지기 때문에 노출 면적이 훨씬 넓고 그룹에서는 그 면적이 더 커진다. 그래서 모든 입력을 막는 대신 읽는 것은 허용하고, 셸 변수를 읽거나 무언가를 내보내거나 비밀 설정에 접근하는 등 실제로 행동하는 순간에 빠른 결정론적 검사를 걸어 허용·승인 필요·차단으로 나누자는 제안이 나왔다. 다만 문자 사이에 점을 끼워 넣는 식의 단순한 우회에 정규식이 뚫리기 때문에, 그 위에 데이터 채널과 지시 채널을 분리하도록 소형 모델을 저차원 어댑터로 미세조정한 층을 얹었다고 설명했다.

두 번째 축은 메모리다. 대화를 전부 저장하고 넘칠 때마다 압축하는 흔한 방식 대신, 앞으로 쓰일 만한 원자 단위 사실을 뽑아 두는 편이 낫다는 것이다. 그러려면 고가치 사실을 제대로 뽑았는지, 사실들이 계층으로 연결되는지, 시간이 지나며 중요도가 뒤바뀌는지, 지금 질문에 맞는 정보를 꺼내오는지를 채점하는 자동 평가자가 필요하다. 무엇을 잊을지는 계속 갱신되는 관련성 점수 모델에 맡기고, 이렇게 지식 기준으로 압축하면 토큰도 함께 절약된다. 여기에 KV 캐시를 깨지 않는 주입 방식도 함께 고려해야 한다고 덧붙였다.

마지막 축은 프라이버시와 정보 라우팅이다. 공유 어시스턴트는 큰 모델을 여러 사람이 나눠 쓰는 일이 아니라 사실상 새로운 사회적 계약에 가깝다. 장바구니 목록은 누구에게나 무해하지만 급여나 건강 정보는 맥락에 따라 성격이 달라지는데, 바뀐 것은 데이터가 아니라 그 정보가 놓인 방이다. 발표자는 공유 메모리 층 하나를 두고 사용자별 어댑터를 따로 학습시켜 권한을 모델 안에 심는 방식을 제안했고, 묻지 않았는데 지나치게 나서는 문제도 발언 시점을 판단하는 분류기로 다루는 작업이 진행 중이라고 했다.

주요 인사이트

• 에이전트 안전을 입력 필터링으로 풀려고 하면 결국 모든 정보를 막는 쪽으로 기울기 쉽다. 행동 직전에 검사하면 지연을 늘리지 않고도 판단 지점을 좁힐 수 있다.
• 정규식과 전통적인 자연어 처리 기법은 빠르지만 문자를 쪼개 넣는 수준의 회피에도 뚫린다. 학습된 모델을 위에 얹어야 개선의 여지가 생긴다.
• 메모리를 적게 남기는 일이 곧 지연 시간과 토큰 비용의 절감이라, 잊는 능력 자체가 성능 최적화 수단이 된다.
• 권한을 코드로 분기하지 않고 사용자별 어댑터로 학습시키면 공유 메모리를 유지하면서도 접근 범위를 나눌 수 있다.
• 그룹 에이전트의 가장 흔한 실패는 틀린 답이 아니라 아무도 묻지 않았을 때 끼어드는 과잉 발언이다.

자주 묻는 질문

관련 AI 소식