AI 감사와 비공개 벤치마크 평가: PySyft v2가 제안하는 데이터 거버넌스 구조

핵심 메시지

• 기업들이 AI 감사를 먼저 요청하기 시작했고, 그 배경에는 벤치마크 유출로 모델 성능을 믿을 수 없다는 문제가 있다.
• PySyft는 신뢰 실행 환경 위에 얹는 데이터 거버넌스 계층으로, 연구자가 볼 수 없는 데이터 위에서 계산만 수행하게 한다.
• 데이터 소유자는 실제 데이터 대신 형식만 같은 모의 데이터를 함께 올리고, 연구자는 모의 데이터로 짠 코드를 그대로 원본에 돌린다.
• 비공개 모델과 비공개 벤치마크를 서로에게도 숨긴 채 맞붙이려면 양쪽이 코드를 검토하고 승인한 뒤 격리 실행 환경에서만 돌려야 한다.
• 감사의 병목은 기술이 아니라 배포다. 포트 하나 여는 데 6개월짜리 보안 심사가 걸리기 때문에 이미 승인된 통로를 쓰는 설계가 필요하다.

쉽게 이해하기

오픈마인드에서 PySyft를 개발하는 코엔 판 데르 페인이 AI 감사의 현재를 정리한 발표다. 그는 의료 데이터로 일하던 시절부터 볼 수 없는 데이터를 다루는 문제와 씨름해 왔다고 밝히며, 최근 분위기가 달라졌다고 말한다. 예전에는 감사가 좋은 생각이라고 기업을 설득해야 했지만, 이제는 기업 쪽에서 먼저 감사를 요청해 온다는 것이다.

요청의 배경에는 세 가지 질문이 있다. 첫째, 모델이 정말 광고만큼 좋은가. 벤치마크 문제가 학습 데이터로 새어 들어가는 유출 때문에 지금의 점수는 그대로 믿기 어렵다. 둘째, 이 기술이 일자리를 실제로 얼마나 대체하는가. 셋째, 내가 받은 예측이 정말 그 모델에서 나온 것인지 확인할 방법이 있는가. 세 질문 모두 외부인이 내부 데이터를 들여다보지 않고도 확인할 수 있어야 답이 된다.

PySyft의 기본 사용법은 단순하다. 데이터 소유자는 원본 데이터와 함께 형식과 자료형만 흉내 낸 모의 데이터를 등록한다. 연구자는 이 모의 데이터를 보며 분석 코드를 작성하고 작업 단위로 제출한다. 소유자는 제출된 코드가 무엇을 하는지 읽고 실행 여부를 결정하며, 결과만 골라 공개한다. 같은 코드가 로컬에서는 모의 데이터를, 원격에서는 실제 데이터를 가리키게 만드는 것이 이 방식의 핵심 사용성 과제다. 발표자는 레딧, 엘루서AI, 앤스로픽, 마이크로소프트 등과 이 방식으로 작업했다고 밝혔다.

문제는 데이터 소유자가 둘 이상일 때다. 비공개 모델을 가진 쪽과 비공개 벤치마크를 가진 쪽이 서로에게도 자료를 넘기고 싶어 하지 않는 상황에서는 단순한 중앙 서버 구조가 성립하지 않는다. 누구도 네트워크를 통제해서는 안 되고, 참여자마다 버전이 달라도 통신이 끊기지 않아야 한다. 1세대 PySyft는 이런 요구에 맞지 않아 v2에서 구조를 다시 짰다.

v2의 선택은 '파일 우선'이다. 피어 사이의 모든 통신은 특정 경로의 내용을 이렇게 바꾸라는 메시지를 담은 파일로 이뤄지고, 전송 수단은 가리지 않는다. 구글 드라이브를 통로로 쓸 수도 있는데, 이상해 보이지만 조직에서 이미 승인된 프로토콜이라 별도 보안 심사 없이 개념 검증을 시작할 수 있다는 실용적 이유가 있다. 각 사용자는 로컬 폴더를 갖고 그 안의 파일은 고유 주소로 참조되며, 메시지는 서명·암호화되고 상대가 접속해 있지 않아도 동작한다. 권한 역시 파일로 관리하고 상위 기능은 별도 패키지로 떼어 놓아, 상위 계층을 올려도 피어 간 통신이 깨지지 않게 했다.

비공개 평가는 이 위에서 이렇게 돌아간다. 벤치마크 소유자, 모델 소유자, 연구자가 각자 참여한 상태에서 연구자가 추론 코드를 작성해 배포하면, 두 소유자가 코드를 읽고 승인한다. 승인이 모이면 격리 실행 환경이 켜져 모델 가중치와 평가 데이터를 그 안에서만 결합해 채점하고, 연구자에게는 결과만 돌아간다. 발표자는 규모 확장과 GPU 지원 등 다듬을 부분이 남았지만 실제로 잘 작동한다고 평가했다.

주요 인사이트

• 발표자는 이 구조를 '열린 책 시험을 닫힌 책 시험으로 바꾸는 일'이라고 표현했다. 평가 문제를 공개하지 않고도 채점이 가능해지면 순위표를 다시 신뢰할 수 있게 된다는 것이다.
• 그가 그린 감사의 미래는 세 기둥이다. 기밀이 보장된 모델 평가, 그 결과를 모아 두는 검증된 감사 기록 저장소, 그리고 특정 예측이 실제로 그 모델에서 나왔음을 확인하는 검증된 추론이다. 셋이 이어지면 예측 하나까지 출처를 따질 수 있게 된다.
• 작업을 파일 기반 '잡'으로 다루는 선택은 이식성과 확장성을 동시에 얻는다. 다른 기계로 옮겨 실행하기 쉬워 디버깅이 편하고, 워커에 분산하기도 쉬우며, 특정 단어가 있으면 결과를 내보내지 않는 식의 기업별 정책도 잡 단위로 붙일 수 있다.
• 가장 현실적인 장벽으로 지목된 것은 배포다. 어떤 조직은 이메일로 모의 데이터를 보내는 것부터 시작하고 어떤 조직은 완전한 쿠버네티스 배포를 요구하는데, 개념 검증을 위해 포트 하나 여는 일이 6개월 보안 심사를 부르는 경우가 있다.
• 그래서 다음 구상은 배포를 먼저 하지 않는 방식이다. 데이터셋과 모델, 추론 코드에 대한 참조만 묶어 작업으로 제출하고, 모든 당사자의 승인이 모이면 격리 환경이 자동으로 떠서 실행한 뒤 스스로 종료되는 서버리스 형태다.

자주 묻는 질문

관련 AI 소식