AI 추론 검증 원리: 비결정성 문제와 신뢰실행환경(TEE), 조약 검증으로 가는 길

핵심 메시지

• 이용자는 AI 서버가 광고한 모델을 실제로 돌렸는지 확인할 방법이 없고, 더 싼 모델로 바꿔치기하거나 응답에 정보를 숨겨 빼돌리는 일이 가능하다는 것이 문제의 출발점이다.
• 검증을 언제 할지가 설계의 핵심이다. 추론이 일어나는 순간에 검증할 수도 있고, 기록을 남겼다가 사후에 별도의 검증 서버로 확인할 수도 있다.
• ‘같은 입력이어도 출력이 달라진다’는 비결정성은 검증을 포기할 이유가 되지 못한다. 실제로 나올 수 있는 토큰은 대개 한두 개에서 다섯 개 남짓이기 때문이다.
• 1000개 미만의 토큰만 모아도 원본 모델과 양자화된 모델을 구분할 수 있다는 실증 결과가 제시됐다.
• 발표자는 버그 잡기, 해커 탐지, 조약 검증이 하나의 스펙트럼 위에 있으며, 상업적 동기가 큰 쪽부터 신뢰 가정을 하나씩 걷어내며 나아가자고 제안했다.

쉽게 이해하기

하버드 박사과정 학생이자 컨스텔레이션 방문 연구원인 로이 린버그는 FAR.AI 행사 강연에서 ‘내가 주고받는 트래픽을 어떻게 믿을 것인가’라는 질문을 던졌다. 이용자가 모델과 대화할 때 서버 쪽에서 무슨 일이 벌어지는지는 보이지 않는다. 모델 가중치를 빼돌리거나, 응답 속에 정보를 숨겨 유출하거나, 비용을 아끼려고 성능이 낮은 모델을 대신 서비스하는 상황이 모두 가능하다는 것이다.

그는 논의에서 자주 뭉뚱그려지는 지점을 먼저 갈랐다. 신뢰를 언제 확보할 것인가 하는 문제다. 영지식 증명을 쓰거나 실행 전체를 신뢰실행환경 안에서 돌려 추론이 일어나는 순간에 검증할 수도 있고, 기록을 남겨 두었다가 나중에 검증 서버로 확인할 수도 있다. 사후 검증은 로깅이라는 추가 작업이 필요하지만 대체로 더 단순한 연산이라는 점에서 실용적인 선택지라는 설명이다.

사후 검증에서 늘 발목을 잡는 반론이 비결정성이다. 같은 모델에 같은 시드를 줘도 출력이 달라질 수 있고, 실제로 그런 일이 관측된다. 그래서 검증 서버가 정직하게 돌아가더라도 원래 서버와 다른 응답을 만들어 낼 수 있다. 린버그는 여기서 사람들이 ‘비결정적이면 무엇이든 나올 수 있다’고 오해한다고 지적했다. 실제로는 모든 토큰이 똑같이 가능한 것이 아니라 대부분의 경우 후보가 한두 개에서 다섯 개 정도로 좁혀지기 때문에, 관측된 토큰이 그 좁은 범위 안에 있는지 확인하는 방식으로 검증이 가능하다는 것이다.

이 방법은 부수적인 효과를 낳는다. 토큰마다 그것이 뽑힐 확률이 얼마나 됐는지 평가할 수 있게 되므로, 응답에 얼마나 많은 정보를 몰래 실어 보낼 수 있는지도 함께 가늠할 수 있다. 남는 질문은 검증 서버 자체를 어떻게 믿느냐다. 그는 암호학, 물리적 접근 통제, 하드웨어 보증이라는 세 갈래를 제시하고, 자신들은 검증기를 신뢰실행환경 안에서 돌리는 방식을 택했으며 실제로 동작하는 데모까지 공개했다고 밝혔다.

강연의 후반부는 이 사례를 더 큰 틀로 확장한다. 그의 가설은 버그 잡기, 해커 탐지, 조약 검증이 서로 다른 문제가 아니라 하나의 축 위에 놓인다는 것이다. 셋 모두 ‘기대한 동작에서 벗어난 것을 찾아내는 일’이고, 달라지는 것은 대상 시스템을 얼마나 통제하는지와 상대가 얼마나 강한 적대자인지뿐이다. 그런데 상업적·정치적 동기는 버그 잡기 쪽에 몰려 있고 조약 검증 쪽은 아직 작다. 그래서 그는 조약 검증을 별개의 난제로 두지 말고, 구성 요소를 정의한 뒤 신뢰 가정을 하나씩 제거하며 점진적으로 접근하자고 제안했다.

주요 인사이트

• 추론 검증은 이론이 아니라 이미 돌아가는 기술이라는 점이 강연의 첫 번째 요지다. 발표자는 청중이 직접 실행해 볼 수 있는 데모를 제시하며 ‘가능하다’는 사실 자체를 머릿속에 남기라고 강조했다.
• 검증과 생성을 분리해서 생각하면 문제가 쉬워진다. 응답을 똑같이 다시 만들어 내는 일은 어렵지만, 관측된 응답이 그럴듯한 범위 안에 있는지 판정하는 일은 그보다 훨씬 가볍다.
• 원본 모델과 양자화된 모델을 구분해 낼 수 있다는 것은, 서비스 사업자가 조용히 값싼 모델로 갈아탔을 때 이용자가 이를 잡아낼 수단이 생긴다는 뜻이다.
• 검증 서버를 또 다른 신뢰 대상으로 만드는 순환 문제는 결국 하드웨어로 내려간다. 소프트웨어가 무엇을 검사하는지는 검증 로직이 보장하고, 그 로직이 변조되지 않았다는 점은 신뢰실행환경이 보장하는 이중 구조다.
• 국가 간 AI 검증처럼 멀어 보이는 목표를 당장 돈이 되는 문제로 번역하는 접근은, 안전 연구가 상업적 인센티브에 올라타 진전할 수 있는 경로를 보여준다.

자주 묻는 질문

관련 AI 소식