자율 AI 시대 기업 준비법: 거버넌스는 문서가 아니라 아키텍처, 쏘트웍스 AI 책임자 인터뷰

핵심 메시지

• AI는 보조 도구에서 여러 단계를 스스로 조율하는 에이전트를 거쳐, 사람이 감시하지 않아도 되는 완전 자율 시스템으로 넘어가는 중이다. 기술은 이미 있고, 남은 것은 조직 안의 준비다.
• 에이전트가 운영 데이터베이스를 지운 사고는 AI가 나쁜 마음을 먹은 사건이 아니라, 파괴적인 명령을 걸러낼 강제 장치가 없었던 사건이다.
• 거버넌스는 나중에 덧붙일 수 없다. 에이전트 하나가 성공하면 순식간에 20개, 50개로 번지고, 그때 가서 전부 다시 배선하는 것은 사실상 불가능하다.
• 경쟁 우위는 더 좋은 모델이 아니라 오케스트레이션에서 나온다. 모델 성능은 입장권일 뿐이고, 내부 시스템에 얼마나 깊이 엮어 넣었는지가 승부를 가른다.
• AI를 '실험'으로 취급하는 순간 이미 방향이 틀렸다. 데모에 돈을 쓰지 말고 기반 구조에 쓰라는 것이 이 인터뷰의 결론이다.

쉽게 이해하기

버나드 마의 팟캐스트에 쏘트웍스의 데이터·AI 총괄 샤얀 모한티가 나와 자율 AI의 기업 도입을 다뤘다. 대화는 AI를 세 단계로 나누는 데서 시작한다. 사람이 최종 판단을 내리는 어시스턴트형, 여러 단계를 스스로 조율하고 도구를 써서 맥락을 직접 끌어오는 에이전트형, 그리고 사람이 감시에 에너지를 쓰지 않아도 스스로 굴러가는 완전 자율형이다. 기술 자체는 이미 존재하고, 부족한 것은 조직 안에 갖춰야 할 나머지 장치들이라는 것이 그의 진단이다.

최근 화제가 된 '에이전트가 운영 데이터베이스를 지운 사건'에 대한 해석이 이 인터뷰의 출발점이다. 그는 언론 보도가 마치 AI가 의도를 갖고 결정을 내린 것처럼 의인화했다고 지적한다. 실제로는 모델이 목표에 맞춰 토큰을 예측했고, 통계적으로 가장 그럴듯한 문자열이 하필 파괴적인 명령이었을 뿐이라는 것이다. 즉 'AI 폭주 사건'이 아니라 '강제 장치 부재 사건'이며, 신뢰는 모델이 알아서 잘해 주기를 바라는 데서가 아니라 AI를 둘러싼 시스템에서 만들어진다.

구체적인 통제 방식은 의외로 단순한 원칙에서 출발한다. 명령을 읽기 전용과 변경·삭제로 나누고, 변경을 일으키는 명령은 AI가 단독으로 실행하지 못하도록 런타임 차원에서 막은 뒤 사람에게 확인을 받는 것이다. 중요한 것은 이것을 프롬프트에 적어 두는 게 아니라는 점이다. '제발 데이터베이스에 쓰지 말아 줘'라고 맥락 창에 부탁하는 것과, 시스템이 명령을 가로채 차단하는 것은 전혀 다른 이야기다.

거버넌스를 나중에 붙일 수 없는 이유는 확산 속도 때문이다. 에이전트 하나가 성과를 내면 조직 전체가 따라 하면서 하룻밤 사이에 20개로 늘고, 그때부터는 'AI가 무엇을 해도 되는지'를 부서마다 같은 언어로 정의해야 한다. 에이전트에게 사람과 별개의 신원을 줄 것인지, 하위 에이전트는 누구의 권한을 물려받는지, 에이전트를 만든 담당자가 퇴사하면 책임은 누가 지는지 같은 질문이 줄줄이 따라온다. 이미 50~60개가 돌아가는 상태에서 이 질문에 답하려면 전부 찾아내 다시 배선해야 하고, 그것은 감당하기 어려운 작업이 된다.

그가 CEO에게 권하는 준비는 세 가지다. 첫째는 출처가 추적되는 AI 친화적 데이터 기반으로, 한 번에 갈아엎을 필요 없이 기능 단위로 옮겨도 된다. 둘째는 거버넌스와 비용 관리가 내장된 런타임이며, 모델 공급자가 매일 바뀌는 상황이라 특정 업체에 묶이지 않도록 지능 공급자와 분리된 단일 창구로 설계해야 한다. 셋째는 이미 그 전환을 겪어 본 리더를 데려오거나 키우는 일이다.

주요 인사이트

• 에이전트 신원 문제는 결국 조직 설계 문제로 넘어간다. 사람에게 인사 시스템이 있듯 에이전트에게도 무엇을 해도 되고 안 되는지를 규정하는 체계가 필요하며, 다중 에이전트 설계는 사실상 조직도를 그리는 일에 가깝다.
• 새 자원 하나가 규정 준수 수준을 통째로 바꿔 놓는다. 공개 웹만 뒤지던 리서치 에이전트를 사내 재무 데이터로 돌리는 순간, 외부 모델이나 공개 MCP 서버를 그대로 쓰던 구성은 더 이상 허용되지 않는다.
• AI 전환의 본질은 도구가 아니라 반사신경의 변화다. 인터뷰이는 이메일·채팅·회의록·재무 자료에 연결한 '경영 조종석'을 매일 쓰면서, 몇 주 걸리던 시나리오 분석을 20분으로 줄였다고 말한다. 질문이 생겼을 때 가장 먼저 AI를 꺼내 드는 습관이 붙어야 도구값이 나온다.
• 기술적 해자는 사실상 사라졌다는 진단도 눈에 띈다. 오늘 새로운 것이 내일이면 새롭지 않은 속도에서 남는 것은 실행의 해자, 즉 누가 더 빨리 방향을 바꾸고 조직 전체가 같은 방향으로 노를 젓는가다.
• 거버넌스를 문서가 아니라 아키텍처로 만들면 통제가 오히려 가속 장치가 된다. 최악의 사고가 구조적으로 막혀 있다는 확신이 있어야 엔지니어가 아닌 직원에게도 에이전트를 만들 권한을 열어 줄 수 있기 때문이다.

자주 묻는 질문

관련 AI 소식