AI 검증 기술의 남은 과제: 영지식 증명·신뢰실행환경으로 추론과 학습 과정 확인하기

핵심 메시지

• AI 검증 논의는 국가 간 조약 이행 확인뿐 아니라 국내 감사, 개발사 내부의 보안 감독까지 여러 층위에 걸쳐 있다.
• 쓰임새가 다르면 필요한 기술도 달라질 수 있지만, 서로 겹치는 부분에서 시너지가 날 여지도 있다는 점이 과제로 제시됐다.
• 워크숍의 논의는 특히 '검증 가능한 추론'에 집중됐고, 영지식 증명과 신뢰실행환경 가운데 무엇이 당장의 필요와 장기 과제에 더 맞는지가 쟁점으로 남았다.
• 추론을 넘어 학습 데이터와 연산 같은 학습 단계의 속성까지 확인하는 방법은 아직 열린 문제다.
• 자원이 풍부한 공격자를 상정한다면 하드웨어 수준의 변조 흔적·변조 저항, 나아가 정형 검증까지 동원해야 한다는 지적이 나왔다.

쉽게 이해하기

AI 안전 연구기관 FAR.AI가 연 워크숍의 마무리 발언은, 하루 동안 오간 논의에서 무엇이 남았는지를 정리하는 자리였다. 발언자는 먼저 검증이라는 주제가 하나의 맥락에 갇혀 있지 않다는 점을 짚는다. 국가 간 조약이 지켜지는지 확인하는 문제이기도 하고, 국내 차원의 감사 문제이기도 하며, AI 개발사가 빨라지는 개발 속도 속에서 내부 보안을 스스로 감독하는 문제이기도 하다.

쓰임새가 이렇게 갈리면 기술적 접근도 달라져야 할 수 있다. 다만 발언자는 각 용도가 요구하는 기술 사이에 겹치는 부분이 있을 가능성도 함께 열어 둔다. 어느 쪽이든 아직 답보다 질문이 많은 영역이라는 것이 이날의 결론에 가깝다.

논의가 가장 많이 몰린 주제는 '검증 가능한 추론'이었다. 모델이 실제로 무엇을 실행했는지를 외부에서 확인할 수 있게 만드는 문제인데, 영지식 증명과 신뢰실행환경 같은 후보 기술 가운데 무엇이 당면한 요구와 앞으로 닥칠 요구를 함께 감당할 수 있을지가 쟁점으로 남았다. 여기서 더 나아가면 학습 데이터와 연산처럼 학습 과정의 속성을 확인하는 문제가 기다리고 있고, 같은 계열의 기술을 어디까지 끌어다 쓸 수 있을지가 과제로 제시됐다.

발언자는 검증을 둘러싼 많은 논의가 'AI 발전 속도가 어느 정도 관리되는 세계'를 전제하고 있다는 점도 지적한다. 그런 상태를 실제로 어떻게 구현하고, 무엇을 기준으로 삼아, 지켜지고 있는지를 어떻게 확인할 것인지가 여전히 비어 있다는 것이다. 아주 강력한 공격자를 상정한다면 하드웨어 차원의 변조 흔적과 변조 저항, 그리고 엄격한 보안 보장을 위한 정형 검증까지 필요해질 수 있다는 언급도 덧붙는다.

마무리 발언은 이 작업이 왜 급한지를 짚는 것으로 끝난다. 모델의 공개와 접근 권한을 둘러싼 결정은 위험 부담이 크지만, 발전 속도가 워낙 빨라 결정권자들이 판단에 필요한 정보를 제때 갖기 어렵다는 것이다. 발언자는 그래서 이런 검증 연구를 계속하는 데 그치지 말고 절박함을 갖고 다뤄야 한다고 말한다.

주요 인사이트

• 검증이라는 말이 국제 조약, 국내 감사, 기업 내부 감독이라는 서로 다른 층위에서 동시에 쓰인다는 점이 눈에 띈다. 같은 단어를 쓰더라도 누가 무엇을 누구에게 증명해야 하는지가 다르므로, 기술 선택도 그에 따라 갈릴 수밖에 없다.
• 영지식 증명과 신뢰실행환경이 나란히 후보로 거론되지만, 어느 쪽이 정답이라는 결론은 나오지 않았다. 당장의 필요와 장기적 요구가 다를 수 있다는 전제 자체가 이 분야의 성숙도를 보여준다.
• 추론 검증보다 학습 단계의 검증이 훨씬 어려운 문제로 남아 있다는 점도 분명하다. 학습 데이터와 연산까지 확인할 수 있어야 한다는 요구는, 결과물만 보는 검사로는 충분하지 않다는 문제의식에서 나온다.
• 결정권자가 필요한 정보를 제때 얻지 못한다는 진단은, 검증 기술이 단순한 연구 주제가 아니라 의사결정의 전제 조건이라는 점을 시사한다.

자주 묻는 질문

관련 AI 소식