크립토 보안 기술을 AI 방어로: 오라클 기반 TEE 추론과 하이드라 조기경보 - 아리 주얼스

핵심 메시지

• 발표 한 달 전 크립토 프로토콜 켈프다오는 정교한 공격으로 잘못된 데이터 한 건이 스마트 컨트랙트에 전달돼 2억 5천만 달러가 넘는 손실을 봤고, 공격은 북한 정부와 연계된 라자루스 그룹으로 지목됐다.
• 크립토가 '사이버보안의 토네이도 앨리'인 이유는 프로그램이 자율적으로 돌고, 익스플로잇을 곧바로 현금화할 수 있으며, 국가급 공격자가 달려들고, 데이터 오염이 치명적이라는 네 가지 특성이다. 이 특성은 AI 시스템과 상당 부분 겹친다.
• 오라클은 신뢰할 수 있는 출처의 데이터를 변조 없이 전달하는 장치다. 이를 TEE 안의 모델과 결합하면 대출 심사처럼 민감한 판단에서 심사자가 원본 자료를 보지 않고 판정만 받는 파이프라인이 가능하다.
• 같은 구조로 익명 상태에서도 자격과 전문성을 증명하는 '프라이빗 추론 크리덴셜(pi creds)'을 만들 수 있고, 사람뿐 아니라 비공개 에이전트 코드에 백도어가 없다는 검토 결과도 증명 대상이 된다.
• 하이드라 구상은 같은 프로그램을 서로 다른 방식으로 여러 벌 구현해 출력이 갈리는 순간을 조기경보로 쓰는 것이다. 불일치를 유발하는 입력은 무기화되지 않으므로, 버그바운티와 묶으면 공격자의 우세 전략이 소액 보상 청구가 된다.

쉽게 이해하기

코넬대의 아리 주얼스는 FAR.AI 행사에서 암호학이 아닌 '다른 쪽 크립토', 즉 암호화폐와 블록체인 산업이 AI 보안에 무엇을 줄 수 있는지 이야기했다. 출발점은 발표 한 달 전 벌어진 켈프다오 사고다. 정교한 공격이 잘못된 데이터 한 건을 블록체인 위의 프로그램에 전달했고, 그 프로그램은 공격자를 대신해 막대한 금액을 발행했다. 손실은 2억 5천만 달러를 넘었고 공격은 라자루스 그룹으로 귀속됐다.

그는 이 사건이 블록체인 산업의 조건을 압축해 보여 준다고 말한다. 스마트 컨트랙트는 자율적으로 실행되므로 자금이 발행된 뒤 되돌릴 중앙 주체가 없고, 익스플로잇은 즉시 암호화폐가 되어 세탁 경로로 흘러가며, 판돈이 크기 때문에 제재 회피에 이 시스템을 이용한 러시아·이란 같은 국가급 행위자가 참여하고, 데이터 오염 한 건이 치명적 결과를 낳는다. 주얼스는 자율성, 높은 판돈, 국가 행위자, 데이터 오염이라는 항목이 AI 시스템과 겹친다고 지적한다. 프런티어 모델을 만드는 기업들은 이미 모델 증류 시도 같은 국가 단위 공격에 대응하고 있고, 오염된 학습 데이터와 적대적 입력은 각각 학습과 추론 단계에서 같은 종류의 위험이다.

첫 번째 제안은 이미 성숙한 기술인 오라클로, 신뢰할 수 있는 웹사이트의 데이터를 변조 없이 프로그램에 전달하는 역할을 하며 일부 오라클은 기밀성까지 제공한다. 주얼스는 신뢰 실행 환경(TEE)을 실제 서비스에 처음 투입한 사례가 자신의 그룹이 만든 오라클 '타운 크라이어'였다고 밝히며, 오라클과 TEE 안의 모델을 결합하면 새로운 기능이 생긴다고 설명한다. 예를 들어 대출 심사에서 신청자는 은행이 신뢰하는 금융기관 사이트에서 자료를 오라클로 가져와 파이프라인에 넣고, 심사 담당자가 승인한 모델이 추론을 수행하면, 담당자는 승인 여부만 알게 된다. 주택담보대출 신청에서 온갖 민감 정보를 그대로 넘기는 지금의 절차와 대비된다.

같은 파이프라인은 자격 증명으로도 확장된다. 익명으로 참여하는 포럼에서도 신뢰 가능한 출처의 비공개 자료를 근거로 모델의 판단에 따라 주장한 자격이나 지식을 갖췄다는 사실을 TEE 증명과 함께 제시할 수 있는데, 주얼스는 이를 프라이빗 추론 크리덴셜, 줄여서 pi creds라고 부른다. 대상은 사람에 국한되지 않아서, 에이전트 코드는 대개 비공개이고 개발자의 보안 주장은 그 자체로는 신뢰 근거가 되지 못하는데도 사람들은 이미 에이전트에 지갑을 맡기고 있다. 그는 에이전트 제작자가 프런티어 모델에 코드 검토를 받게 하고 오라클이 그 상호작용을 중개해 '검토 결과 이 코드에 백도어가 없다'는 식의 속성을 증명하는 방식을 제시한다.

두 번째는 더 사변적인 구상으로, 새 모델일수록 취약점 발견 능력이 좋아지면서 예전 모델로 작성·검토된 코드와 격차가 벌어진다는 문제에서 출발한다. 2016년 한 스마트 컨트랙트의 버그로 당시 2위 블록체인 암호화폐의 약 15%가 도난당한 사건을 계기로, 연구팀은 NASA가 1980~90년대에 탐색했던 N-버전 프로그래밍을 다시 꺼내 같은 기능을 서로 다른 언어와 개발자, 다른 프롬프트로 여러 벌 구현해 두고 출력이 일치할 때만 결과를 내보내는 구조를 실험했다. 구현들이 갈리는 입력은 결함의 조기경보이면서도 모든 구현을 동시에 뚫은 것이 아니므로 그 시점에는 무기화되지 않고, 버그바운티를 결합하면 무기화 수익보다 몇 자리수 작은 보상만으로도 공격자의 우세 전략이 소액 보상 청구가 된다. 8년 전에는 형식 명세를 쓰고 여러 개발자를 동원하는 비용 때문에 확산되지 못했지만 이제 모델이 그 작업을 대신할 수 있다는 것이 그의 주장이며, 질의응답에서 여러 모델이 같은 깃허브 코퍼스로 학습돼 비슷한 버그를 낸다는 지적이 나오자 언어·모델·프롬프트를 바꾸는 지렛대가 있지만 충분한 다양성 확보는 아직 확신하지 못한다고 답했다.

주요 인사이트

• 위협 모델이 닮았다면 방어 자산도 이전할 수 있다는 발상이 이 발표의 핵심이다. 크립토는 자율 실행과 즉시 현금화라는 조건 때문에 방어를 먼저 강제당했고, AI는 이제 비슷한 조건에 들어서고 있다.
• TEE 논의가 보통 '모델 가중치를 어떻게 보호하나'로 흐르는 데 비해, 오라클을 붙이면 입력의 출처 보증이라는 다른 축이 생긴다. 데이터가 신뢰 가능한 출처에서 변조 없이 들어왔다는 보증은 프라이버시 보호 추론의 전제가 된다.
• pi creds는 검증 주체를 사람에서 코드로 확장한다. 비공개 에이전트를 제품에 넣을 때 개발자의 주장 대신 모델 검토에 대한 증명을 요구할 수 있다면, 지금 에이전트에 권한을 맡기는 관행의 공백을 메울 수 있다.
• 하이드라의 매력은 탐지가 아니라 유인 설계에 있다. 불일치를 만드는 입력이 그 자체로는 악용되지 않으므로, 작은 보상으로도 공격자가 공격보다 신고를 택하게 만드는 구조가 성립한다.
• LLM이 다중 구현의 비용 문제를 풀어 준 대신 새 제약을 들여왔다. 모델들이 같은 코드 코퍼스에서 학습돼 같은 실수를 공유한다면 다양성이 확보되지 않고, 발표자 본인도 이 부분을 미해결 연구 과제로 남겨 두었다.

자주 묻는 질문

관련 AI 소식