게이츠 재단 사내 AI 플랫폼 사례: 지식그래프와 데이터 모델이 조직의 해자가 되는 이유

핵심 메시지

• 발표자는 모델과 코딩 도구가 빠르게 좋아질수록 조직이 지킬 수 있는 경쟁력은 기술 스택이 아니라 내부 프로세스에 대한 암묵적 이해라고 정리했다.
• 게이츠 재단은 흩어져 있던 사내 기록 시스템을 하나의 데이터 레이크하우스로 모은 뒤, 그 위에 지식그래프 기반 '전략 인텔리전스 플랫폼(SIP)'을 올려 약 4,000명이 쓰는 사내 서비스로 배포했다.
• 그래프에는 자금 배분, 투자 관리, 사람과 조직도, 회의 문서라는 서로 다른 계층이 함께 모델링돼 에이전트가 질의 시점에 구조를 탐색하며 답을 만든다.
• 채팅 화면 자체는 방어 가능한 자산이 아니라고 보고, MCP로 플랫폼을 노출해 사용자가 이미 쓰는 챗봇 안에서 데이터에 닿게 했다.
• 평가(eval)는 정확도 점수를 넘어 데이터 모델의 빈틈과 모호한 질문을 찾아내는 진단 도구로 쓰인다.

쉽게 이해하기

발표는 단순한 질문에서 출발한다. 프런티어 모델이 계속 좋아지고 코딩 도구로 무엇이든 빠르게 만들 수 있다면, 조직이 직접 소유하고 지켜야 할 부분은 어디까지인가 하는 문제다. 발표자는 배포한 스택을 실제로 운영하려면 모니터링과 유지보수, 다른 팀이 만든 의존성까지 감당해야 한다는 점을 지적하며, 그렇게 떠안을 가치가 있는 부분이 무엇인지 먼저 따져야 한다고 말한다.

그가 내린 답은 조직 내부 프로세스에 대한 암묵적 이해였다. 어떤 필드가 실제로 무엇을 뜻하는지, 데이터를 어떻게 이어 붙여야 하는지, 지금까지 보고서가 어떤 관행으로 숫자를 집계해 왔는지는 문서 어디에도 온전히 적혀 있지 않다. 발표자는 질문에 그럴듯하게 답하는 것으로는 부족하고 조직이 과거에 답해 온 방식대로 답해야 한다고 말하는데, 이 절차적 지식이 곧 모델이 대체할 수 없는 자산이라는 것이다.

재단은 25년 넘게 쌓인 보조금과 투자 기록을 다뤄야 했다. 한 해에만 2,000건이 넘는 보조금이 100개 이상 국가를 대상으로 집행되고 연간 총지출은 70억 달러를 넘는다. 이렇게 규모와 구조가 큰 데이터에서 통찰을 뽑아내는 일이 어렵다는 문제의식이 플랫폼의 출발점이 됐다.

실제 구조는 여러 계층의 그래프로 만들어졌다. 자금 팀과 포트폴리오가 개별 투자로 이어지는 자금 흐름 계층, 어느 팀이 직접 또는 간접으로 투자를 관리하는지 보여주는 관리 계층, 조직도와 담당자·회의 참석자를 담은 사람 계층, 그리고 회의에서 나온 비정형 문서를 의미 단위로 쪼갠 문서 계층이 하나의 그래프로 연결된다. 여러 소스 시스템에 흩어져 있던 같은 개체를 이어 붙였기 때문에 에이전트가 복잡한 조직 구조를 따라 이동하며 맥락을 조립할 수 있다.

발표자는 이 과정 자체의 부수적 효과도 강조했다. 그래프를 만들다 보면 조직이 스스로 무엇을 모르고 있었는지, 어떤 데이터가 빠져 있었는지가 드러난다는 것이다. 거버넌스도 함께 언급됐는데, AI가 접근성을 크게 높인 만큼 개인정보 마스킹과 민감 정보 분류, 사용자별 권한 확인의 중요성이 이전보다 더 커졌다고 봤다.

주요 인사이트

• '해자'를 모델 성능이나 UI가 아니라 조직이 축적한 절차적 지식에서 찾는 관점은, 사내 AI 도입을 검토하는 조직에 우선순위를 어디에 둘지 알려준다. 새 모델이 나올 때마다 흔들리지 않는 부분에 투자한다는 뜻이기 때문이다.
• 데이터 소유자와의 협업을 기술 작업의 곁가지가 아니라 핵심 단계로 둔 점이 눈에 띈다. 필드의 의미, 데이터의 한계, 보안 권한, 보고 관행을 직접 확인해야만 모델링할 대상이 명확해진다.
• 자체 챗 인터페이스를 만들지 않고 MCP로 플랫폼을 노출한 선택은, 사용자가 이미 머무는 곳으로 데이터를 보내는 전략이다. 발표자는 여기에 더해 제약이 있는 워크플로 형태의 경험도 함께 준비하고 있다고 밝혔다.
• 평가 파이프라인을 살아 있는 그래프에 실시간으로 질의해 비교하도록 만든 점은 실무적으로 참고할 만하다. 구조화된 데이터가 계속 바뀌는 환경에서는 정답을 고정해 둘 수 없기 때문이다.
• 틀린 답보다 모호한 답이 더 자주 문제가 된다는 관찰도 시사적이다. 질문이 여러 해석을 허용할 때 결과는 틀리지 않았지만 사용자가 의도한 것이 아닐 수 있고, 이는 데이터 모델과 용어 정의를 다듬어야 할 신호가 된다.

자주 묻는 질문

관련 AI 소식