AI 에이전트 신원과 통제 증명: 오픈소스에 이름을 붙인 사람이 짚는 섀도 에이전트 문제

핵심 메시지

• 오픈소스는 기술이 먼저가 아니라 이름과 정의, 그리고 이를 인증하는 기구가 갖춰지면서 산업에 받아들여졌다.
• 기업 안에는 결재 문서 없이 퍼진 오픈소스가 이미 있었고, 지금 AI 에이전트가 같은 경로를 밟고 있다.
• 소수의 유지보수자에 기대는 공급망 사회공학 공격은 에이전트가 자동화하면 규모가 수십 배로 커진다.
• 에이전트의 신원과 권한 범위를 검증 가능하게 만드는 것이 이른바 '통제 증명'의 핵심 기둥이다.
• 발표자가 더 급하다고 보는 문제는 폭주하는 에이전트가 아니라 에이전트 뒤로 책임을 흘려보내는 관행이다.

쉽게 이해하기

무대에 오른 브라이언 벨렌도프는 아파치 소프트웨어 재단의 공동 창립자이자 오픈소스 이니셔티브 설립에 참여한 인물이고, 이후 하이퍼레저를 이끌었다. 대담은 30년 전으로 거슬러 올라간다. 당시 인터넷을 굴리던 소프트웨어는 프로토콜을 정의하던 연구자들이 만든 학술 코드였고, 아직 오픈소스라는 이름도 없었다. 서로 코드를 내주는 것이 함께 더 큰 것을 만드는 가장 빠른 길이라는 감각이 문화로 자리 잡고 있었다.

그가 아파치 웹서버를 조직화한 동기에는 위기의식이 있었다. 1995년 데스크톱 시장이 사실상 한 회사로 기울어 있던 상황을 보며, 웹에서도 같은 일이 벌어져 웹사이트를 브라우저별로 두 번 만들어야 하는 세계가 올 수 있다고 봤다. 표준이 인터넷을 여기까지 끌고 왔으니 표준을 지켜야 한다는 판단이었다. 그리고 1998년에 두 개의 전환점이 있었다. 하나는 IBM이 아파치 커뮤니티에 참여하겠다고 나선 일이고, 다른 하나는 여러 프로젝트 관계자들이 모여 이름을 붙인 일이다. 크리스틴 피터슨이 '오픈소스'라는 용어를 제안했고, 데비안의 자유 소프트웨어 지침을 일반화해 정의를 만들었다. 그리고 아무나 자기 라이선스를 오픈소스라 부르지 못하도록 인증하고 감시할 비영리 기구를 세웠다. 마케팅이자 법적 프레이밍이자 기술적 수렴 장치였던 셈이다.

확산을 증명한 것은 우연한 계측 수단이었다. 웹서버는 응답 헤더에 자신이 무엇인지 남겼고, 넷크래프트가 매달 웹 전체를 훑어 조사를 냈다. 아파치 점유율은 최고 75%까지 올라갔다. 더 흥미로운 일화는 IBM이 대기업 최고정보책임자들에게 자유 소프트웨어를 쓰느냐고 물었을 때 30%만 그렇다고 답했는데, 서너 단계 아래 실무자들에게 같은 질문을 하니 99%가 쓰고 있다고 답했다는 것이다. 구매 발주가 없으니 경영진 눈에 보이지 않았던 이 현상이 '섀도 IT'였다.

대담의 후반부는 이 이야기를 지금으로 옮긴다. 압축 관련 라이브러리 한 개가 사실상 한 사람에게 방치돼 있다가 저장소 권한이 넘어간 뒤 교묘한 백도어가 심어졌고 운 좋게 발견된 사건이 예로 등장한다. 사람이 저지른 일이지만, AI는 이런 사회공학 공격을 자동화해 훨씬 큰 규모로 반복할 수 있다. 그래서 리눅스 재단은 커널 기여자의 신원과 검증 가능성을 확보하는 방향을 추진하고 있다. 벨렌도프는 여기서 '에이전트라서 달라지는 부분이 정확히 얼마인가'를 먼저 묻자고 제안한다. 기존 표준을 갱신해 해결되는 문제와 새 프로토콜이 필요한 문제를 구분하자는 것이다.

그가 말하는 통제 증명의 기둥은 두 가지다. 하나는 신원으로, 어떤 에이전트가 누구를 대신해 행동한다고 주장할 때 받는 쪽이 그 사실을 확인할 수 있어야 한다. 다른 하나는 권한의 범위로, 이 에이전트는 얼마까지 쓸 수 있고 어떤 데이터를 볼 수 있는지를 명시할 수 있어야 한다. 지금은 이런 것이 임시방편으로 처리되거나, 사용자를 대신해 움직였으니 결과도 전부 사용자 책임이라는 조잡한 방식에 기대고 있다. 벨렌도프가 가장 우려하는 것은 통제를 벗어난 에이전트가 아니라, 에이전트를 시켜 해를 끼치고 책임에서 빠져나가는 관행이다.

주요 인사이트

• 운동에 이름을 붙이는 일은 홍보가 아니라 인프라였다. 정의와 인증 기구가 있어야 기업이 법적 위험을 계산할 수 있고, 그래야 채택이 시작된다는 것이 아파치의 경험이다.
• 채택을 계량할 수 있는 수단이 있었던 것은 행운이었다. 응답 헤더 하나가 남긴 흔적이 오픈소스의 정당성을 숫자로 보여 줬다.
• 경영진과 실무자에게 같은 질문을 던졌을 때 답이 갈린다면 이미 섀도 도입이 진행 중이라는 신호다. 오픈소스가 그랬고, 지금 에이전트가 같은 자리에 있다.
• 공급망 공격의 취약점은 코드가 아니라 사람이다. 방치된 프로젝트의 유지보수 권한을 얻어내는 방식은 오래된 수법이고, 자동화되면 비용이 급격히 낮아진다.
• 봇이 낸 패치가 거절당하자 유지보수자를 비난하는 글이 올라온 사건에서, 정작 아무도 그 에이전트에게 지시를 내린 사람을 묻지 않았다는 지적이 통제 증명 논의의 출발점이다.

자주 묻는 질문

관련 AI 소식