기밀 컴퓨팅 기반 프라이빗 AI 추론 아키텍처, 프런티어 규모로 확장하는 방법과 남은 과제

핵심 메시지

• 표준적인 추론 서버 구조에서는 클라우드 운영자, 하이퍼바이저, 호스트 OS 등 데이터 경로 위의 여러 주체가 사용자 입력을 평문으로 볼 수 있다.
• 발표자는 프라이빗 추론이 갖춰야 할 조건으로 증명 가능한 기밀성, 검증 가능한 정책, 빠르고 간결한 검증, 그리고 확장성 네 가지를 제시했다.
• 기반 기술은 기밀 컴퓨팅이며, 하드웨어 수준에서 암호화된 가상머신인 CVM(신뢰 실행 환경)이 기밀성·무결성·측정 가능성·증명을 제공한다.
• 클러스터의 신뢰 뿌리는 CDS라는 인증서 배포 서비스가 맡아, 운영자가 준 정책에 맞는 구성 요소만 참여시키고 사용자에게는 한 번의 검증으로 전체를 보증한다.
• 남은 기술적 공백은 노드 간 RDMA 통신이 아직 암호화되지 않는다는 점으로, 신뢰 장치 연결 기능이나 더 큰 단일 머신이 해법으로 거론됐다.

쉽게 이해하기

AI 서비스에 무언가를 입력할 때 우리는 보통 그 데이터가 모델에만 전달된다고 생각한다. 하지만 발표자가 그린 표준적인 추론 서버 구조를 보면 이야기가 달라진다. 요청을 받는 로드 밸런서, 작업을 배치하는 컨트롤 플레인, 실제 연산을 수행하는 추론 워커까지 데이터가 지나는 경로에는 클라우드 운영자와 하이퍼바이저, 호스트 운영체제 같은 여러 주체가 있고, 이들은 원칙적으로 사용자의 평문 데이터를 들여다볼 수 있는 위치에 있다.

그래서 그는 데이터가 처리되는 중간 상태 전부에서 프라이버시를 지키는 추론 구조를 목표로 잡고, 네 가지 요건을 정리했다. 첫째는 기밀성을 최종 사용자에게 증명할 수 있어야 한다는 것, 둘째는 기밀성만으로는 악의적 유출을 막을 수 없으므로 어떤 하드웨어가 참여할 수 있고 키가 어떻게 배포되는지를 규정한 정책 자체가 검증 가능해야 한다는 것이다. 셋째는 검증이 빠르고 간결해야 한다는 것으로, 기계가 천 대라면 천 번이 아니라 한 번의 검증으로 끝나야 확장이 가능하다. 넷째는 성능이나 보장을 잃지 않으면서 수십만 대까지 늘어날 수 있어야 한다는 것이다.

이 구조의 재료가 되는 기술이 기밀 컴퓨팅이다. 가상머신을 암호화된 잠금 상자처럼 만든 것이 CVM, 즉 신뢰 실행 환경이며 여기서 네 가지 보장을 얻는다. 데이터가 하드웨어 수준에서 암호화되는 기밀성, 한번 만들어진 상태가 변조되지 않는 무결성, 안에서 실행되는 소프트웨어를 시작 시점에 측정할 수 있는 검증 가능성, 그리고 이 세 가지를 외부에 증명하는 증명서 발급이다. CPU와 여덟 개의 GPU가 붙은 노드 전체를 기밀 모드로 돌리면 CPU와 GPU 사이, GPU와 GPU 사이 통신까지 암호화된 상태로 하나의 CVM 경계를 그릴 수 있다.

문제는 실제 추론 클러스터가 기계 한 대가 아니라는 점이다. 그래서 여러 CVM을 묶는 신뢰 경계를 정의하는데, 안에 들어오려면 소프트웨어가 측정 가능해야 하고, CVM 안에서 실행돼야 하며, 그 측정값이 증명서와 묶여 있어야 한다. 이 경계의 뿌리 역할을 하는 것이 CDS다. 운영자는 어떤 측정값을 가진 워커와 로드 밸런서를 허용할지 적은 매니페스트를 CDS에 넘기고, CDS는 새로 뜨는 구성 요소를 하나하나 검증해 신원과 정책을 묶은 인증서를 발급한다. 사용자는 CDS에 한 번 물어 정책과 증명서를 받아 캐시해두고, 이후 요청에서는 로드 밸런서가 그 매니페스트에 속하는지만 확인하면 된다.

데이터를 어떤 키로 암호화하느냐도 설계상의 갈림길이다. CVM마다 키를 따로 두면 요청이 특정 기계에 묶이는 강한 보장을 얻지만 세션 라우팅 같은 확장 기능을 잃고, 클러스터 전체가 키 하나를 공유하면 확장은 쉬워지지만 결속력이 사라진다. 발표자 팀은 그 중간인 커미티 방식을 택해, 유한한 수의 워커로 이뤄진 위원회 단위로 키를 만들고 사용자는 그 위원회를 향해 암호화한다. 마지막으로 남은 과제는 프런티어 규모의 추론이 여러 노드에 걸쳐 이뤄진다는 점이다. 노드 사이를 잇는 RDMA 통신은 아직 암호화되지 않는데, 스마트 NIC 같은 신뢰 장치를 CVM 경계에 붙이는 방식이나 추론 워커 전체가 들어갈 만큼 큰 단일 머신이 그 공백을 메울 후보로 제시됐다.

주요 인사이트

• 프라이버시를 '암호화했다'는 선언이 아니라 사용자가 직접 확인할 수 있는 증명으로 바꾸려는 시도라는 점이 이 설계의 핵심이다.
• 검증 비용이 기계 수에 비례하면 보안 자체가 확장의 걸림돌이 된다. CDS로 증명을 한 곳에 모아 상수 비용으로 만든 것이 규모 문제의 실질적인 해법이다.
• 컨트롤 플레인을 일부러 신뢰 경계 밖에 둔 선택은, 스케줄링은 기존 오케스트레이터에 맡기고 기밀성만 따로 보장해 여러 환경에 이식 가능하게 하려는 의도다.
• 보안과 확장성은 키를 어디에 묶느냐에서 정면으로 충돌하며, 위원회 단위라는 중간 지점은 그 절충을 다루는 구체적인 사례다.
• 소프트웨어가 아니라 하드웨어 지원 여부가 병목이 되는 국면으로, 암호화된 노드 간 통신이 가능해지는 시점이 프라이빗 추론 확산의 분기점이 된다.

자주 묻는 질문

관련 AI 소식