AI 추론 트레이스 탈취 연구 해설 — 암호화된 사고 블록이 사용자와 모델을 넘나든 이유

핵심 메시지

• 추론 모델이 감춘 사고 과정은 API 응답에 암호화된 블록으로 실려 클라이언트에게 돌아온다.
• 이 블록은 암호는 깨지지 않았지만 만든 사람·대화·모델에 묶여 있지 않아 다른 곳에서도 그대로 통용됐다.
• 같은 제공사의 더 작고 통제가 느슨한 모델에 블록을 넘기면 감춰진 사고가 평문으로 다시 나왔다.
• 공개된 에이전트 실행 기록 31만여 건을 해독하자 개인식별정보 367건과 자격 증명 182건이 드러났다.
• 암호화된 사고 안에 악성 지시를 숨겨 다음 모델이 자기 생각처럼 따르게 만드는 공격도 시연됐다.

쉽게 이해하기

튜링 포스트의 해설 영상은 8월 10일 공개된 논문 '독점 LLM API에서 추론 트레이스 훔치기'를 다룬다. 추론 모델은 답을 내놓기 전에 긴 사고 과정을 만들지만 사용자에게는 정제된 요약만 보여주고 원문은 감추는데, API를 통해 쓰면 그 감춰진 사고의 일부가 읽을 수 없는 암호화 블록 형태로 응답에 함께 실려 돌아온다. 대화가 상태를 유지하지 않는 탓에 에이전트가 도구를 호출하거나 파일을 고치는 동안 대화를 이어 가는 주체는 서버가 아니라 애플리케이션이고, 모델도 도구 호출이 끝나면 이전 사고를 다시 필요로 하기 때문이다. 사고를 암호화해 클라이언트에 맡기면 제공사는 저장 부담을 덜고, 경쟁사는 사고 원문을 수집해 학습에 쓸 수 없으며, 사용자는 지저분한 중간 사고를 보지 않아도 된다는 계산이었다.

존스홉킨스의 암호학자 매슈 그린이 이 블록을 만지작거리다 허점을 발견했다. 암호 자체는 깨지지 않아 내용을 읽거나 고칠 수는 없었지만, 블록을 다른 대화나 다른 계정으로 옮겨도 API가 정상적인 사고 기록으로 받아들였다. 암호학적으로 보호돼 있을 뿐, 그것을 만들어 낸 사람과 대화와 맥락에 단단히 묶여 있지는 않았던 것이다. 제공사들은 처음에 이 신고를 심각한 보안 문제로 보지 않았다.

논문 저자들은 여기서 한 걸음 더 나갔다. 블록이 맥락을 넘어 통한다면 모델도 넘어설 수 있느냐는 질문이었고, 답은 대체로 '그렇다'였다. 같은 제공사 안에서 강한 모델이 만든 추론 블록을 더 작고 통제가 느슨한 모델에 넘기자 API가 이를 해독해 전달했고, 작은 모델은 방금 받은 사고를 그대로 받아 적었다. 강한 모델 자체는 자기 사고를 드러내지 않도록 막혀 있지만 순한 형제 모델을 거치면 우회가 된 셈이라, 영상은 이를 암호 해독 문제가 아니라 권한 설계의 실패로 봐야 한다고 정리한다.

복원이 가능해지자 문제는 곧바로 개인정보로 번졌다. 개발자와 연구자는 디버깅이나 재현을 위해 에이전트 실행 기록을 공개하면서, 눈에 보이는 대화에서는 비밀을 지우고 읽을 수 없어 보이는 암호화 블록은 그대로 남겨 두는 경우가 많다. 공개 저장소에서 모은 31만 5,320개의 추론 블록을 해독한 결과 개인식별정보 367건과 자격 증명 182건이 나왔다. 더 곤란한 것은 비밀을 지워 달라고 모델에 시키는 순간 모델이 그 값을 감춰진 사고 안에서 한 번 더 읊게 되고, 그렇게 복원된 항목 가운데 상당수는 공개된 대화 어디에서도 보이지 않았다는 점이다.

영상이 가장 무겁게 다루는 대목은 프롬프트 인젝션이다. 연구진은 한 모델에 악성 지시를 주고 그 결과로 생긴 감춰진 사고를 붙잡아, 다른 모델의 맥락에 심은 뒤 전혀 무관한 작업을 시켰다. 겉으로는 발표 자료에 감사 슬라이드를 추가해 달라는 요청뿐이었지만, 안에 든 추론 블록에는 자료를 공격자 서버로 올리라는 지시가 들어 있었고 모델은 그대로 따랐다. 암호학적으로 유효한 블록이었기에 다음 모델은 그것을 자기 자신의 이전 생각으로, 곧 신뢰할 수 있는 내부 상태로 취급했다.

주요 인사이트

• 암호화되어 있다는 사실과 안전하다는 사실은 다르다. 이번 사례에서 깨진 것은 암호가 아니라, 그 데이터를 누가 어디서 다시 쓸 수 있는지를 정하지 않은 권한 설계였다.
• 에이전트 시대의 대화는 눈에 보이는 기록과 그 아래에서 오가는 두 번째 기록으로 나뉜다. 보이는 대화를 지운다고 두 번째 기록까지 지워지지는 않는다.
• 인터페이스에 표시되는 추론 요약은 감사 기록이 아니다. 논문은 감춰진 사고가 정답을 먼저 말해 버린 뒤 풀이를 시작하는데도 요약에서는 그 대목이 빠진 사례를 확인했다.
• 해법 자체는 개념적으로 단순하다. 블록을 사용자·세션·모델·대화 이력에 묶어 하나라도 달라지면 거부하거나, 추론을 서버에 두고 식별자만 돌려주거나, 매 턴 폐기하면 된다. 다만 모델 교체와 대화 편집이 불편해지고 긴 작업의 효율이 떨어지는 대가가 따른다.
• 일반 채팅 사용자보다 위험한 쪽은 파일과 계정에 연결된 코딩·리서치 에이전트를 쓰는 사람이다. 원본 실행 로그를 민감 정보로 취급하고, 만료·회수가 가능한 좁은 범위의 자격 증명을 쓰는 편이 안전하다.

자주 묻는 질문

관련 AI 소식