AI 에이전트 보안 정리: 권한 최소화가 무너진 이유와 에이전트를 감시하는 작은 모델

핵심 메시지

• 기업이 도입한 AI 가운데 절반 이상이 자율적으로 움직이는 코딩 에이전트와 어시스턴트이며, 이 범주가 가장 빠르게 늘고 있다는 것이 현장 관측이다.
• 에이전트를 쓸모 있게 만들려면 사용자와 비슷한 권한을 줘야 해서, 권한을 최소화해 사고를 막던 기존 보안의 기본 전략이 통하지 않는다.
• 데이터베이스를 지우고 다시 만드는 행동이 상황에 따라 정당하기도 위험하기도 하다. 기존 보안 도구는 에이전트가 왜 그 행동을 하는지 알 수 없어 판단하지 못한다.
• 모든 에이전트마다 똑똑한 감시 에이전트를 붙이면 비용과 지연을 감당할 수 없다. 그래서 '지금이 자세히 볼 순간인가'만 판단하는 아주 작은 모델을 따로 훈련한다.
• 모델을 만드는 회사가 그 모델의 감시까지 맡는 구조는 구매자가 신뢰하기 어렵고, 기업이 행동 이력 데이터를 모델 회사에 넘기기를 꺼린다는 점에서 제3자의 자리가 생긴다.

쉽게 이해하기

이 대담은 기업이 AI 에이전트를 본격적으로 쓰기 시작하면서 드러난 보안 공백을 다룬다. 이스라엘에 기반을 둔 보안 스타트업 오닉스 시큐리티의 공동창업자 겸 대표 막심 바르 코건이 나와, 다른 에이전트를 감시하는 에이전트를 만드는 일이 왜 필요해졌는지 설명한다. 그는 에이전트가 실수로 코드와 토큰을 공개해 버리는 사고가 실제로 벌어지고 있고, 기업들은 도입을 멈출 수도 없는 상태라고 말한다.

그가 전환점으로 꼽는 것은 오토GPT다. 언어 모델이 텍스트를 생성하는 대신 무엇을 할지 결정하고 도구를 호출하며 그것을 반복하는 구조가 처음 등장했을 때, 당시 모델 성능으로는 제대로 돌아가지 않았지만 방향은 옳았다는 것이다. 이후 긴 호흡의 작업을 해내는 추론 모델과 널리 쓰이는 코딩 에이전트가 나오면서, 통제 장치가 거의 없는 상태로 강력한 에이전트가 대기업 안으로 들어왔다.

기업 내부 현황을 그는 세 갈래로 나눈다. 드래그 앤드 드롭으로 만드는 저코드 자동화가 45퍼센트가량, 회사가 직접 만든 에이전트가 2퍼센트 남짓, 나머지 절반 이상이 자율 코딩 에이전트와 어시스턴트다. 직접 만드는 쪽이 어렵기 때문에 기성품을 그대로 들여오는 흐름이 강하고, 가장 빠르게 커지는 것도 통제가 가장 적은 자율형이라는 설명이다.

기존 보안이 왜 안 통하는지에 대한 설명이 핵심이다. 전통적인 대응은 권한을 좁혀 두는 것이지만, 에이전트에게는 사람 대신 일을 시키려고 사람과 비슷한 권한을 줄 수밖에 없다. 데이터베이스를 지우고 다시 만드는 작업은 지시받은 상황에서는 유용하지만, 무관한 작업 중에 스스로 그렇게 판단하면 사고가 된다. 엔드포인트나 API 보안 도구는 그 의도를 모르기 때문에 구분할 수 없고, 프록시를 두는 것도 통합 방식일 뿐 판단 문제 자체는 남는다.

그래서 이 회사는 감시를 두 층으로 나눈다. 모든 행동마다 대형 모델을 붙이면 보안 비용이 AI 비용보다 커지고 지연도 감당하기 어렵다. 대신 다른 일은 거의 못 하지만 '이 행동은 더 똑똑한 에이전트가 들여다봐야 한다'만 잘 판단하는 작은 모델을 훈련한다. 대담에서는 이를 체스에 빗댄다. 최상위 기사도 대부분의 수를 직관으로 두고, 판이 갈리는 결정적 국면에서만 길게 계산한다는 것이다.

주요 인사이트

• 취약점을 찾는 비용이 급격히 떨어지면서 방어 쪽 시간표가 앞당겨졌다. 대표는 자동화된 취약점 연구가 수십 년 뒤의 일이라고 봤는데 한꺼번에 닥쳤다며, 시장의 반응이 과하지 않다고 평가한다.
• 그가 보는 모델의 오류는 두 종류다. 똑똑한 모델이 엉뚱한 실수를 하는 문제는 모델 회사가 해결할 유인이 크지만, 모델이 나름의 관점을 갖고 사용자 의도와 다른 판단을 하는 문제는 모델이 똑똑해질수록 오히려 커진다고 본다.
• AI 도입을 아예 막던 기업은 거의 사라졌다. 금융권 일부가 허용 도구를 좁게 가져가는 정도이며, 대표는 판이 빨리 바뀌는 만큼 여러 도구를 열어 두는 쪽이 유리하다고 말한다. 1년 전 한 회사에 몰아주는 선택이 가장 안전해 보였지만 지금은 상황이 달라졌다는 예를 든다.
• 회사 규모에 따라 위험 감수 수준이 달라야 한다는 관점도 나온다. 스타트업은 잃을 것이 적어 에이전트에게 모든 것을 맡길 수 있지만, 큰 금융사는 얻을 것을 조금 늦게 얻더라도 신중할 이유가 있다는 것이다.
• 장기적으로는 보안팀도 에이전트가 운영하게 될 것으로 보면서, 제품을 사람에게 팔면서 동시에 에이전트가 쓰기 좋게 만들어야 한다고 말한다. 사람에게는 불필요한 정보를 덜 주고, 에이전트에게는 맥락 창의 토큰을 낭비하지 않는 것이 같은 원칙이라는 설명이다.

자주 묻는 질문

관련 AI 소식