AI 감시 가능성 상실: 사고 사슬 모니터링의 한계와 대응 — 영국 AI안전연구소 발표 정리

핵심 메시지

• AI 정렬과 통제가 가능하다고 믿는 근거의 상당 부분은 '지금은 모델을 들여다볼 수 있다'는 전제에 기대고 있다.
• 연구팀은 이 전제가 무너지는 상황을 '감시 가능성 상실'로 부르며, 행동·사고 사슬·내부 표현·기억 공유·재현성·학습이라는 여섯 영역으로 나눠 점검한다.
• 사고 사슬 모니터링은 현재 가장 쓸모 있는 수단이지만 오탐이 잦고 실제 추론과 어긋나기도 해, 심각한 문제를 입증하는 근거로는 약하다.
• 전문가 다수는 '사고 사슬로 추론해야만 하는 필연성'은 사라질 것으로 보며, 갑작스러운 아키텍처 변경을 가장 큰 위험 요인으로 지목했다.
• 발표자는 감시 기법을 학습 목표로 삼지 말고, 측정·홀드아웃 기법 확보처럼 값싼 대책부터 실행하라고 제안했다.

쉽게 이해하기

영국 AI안전연구소(UK AISI) 소속 연구자 조지프 블룸은 한 정렬 워크숍 발표에서 청중에게 질문을 던지며 시작했다. AI 정렬은 어려운 미해결 문제인가, 미래 시스템을 통제하는 일은 가능한가. 그는 많은 사람이 '가능하다'고 답하는 근거가 결국 하나로 모인다고 봤다. 시스템이 원치 않는 행동을 할 때 그것을 볼 수 있고, 왜 그랬는지 따져볼 수 있으며, 학습이 의도대로 되지 않으면 파악할 수 있다는 전제다.

문제는 그 전제가 계속 유지되느냐다. 연구팀은 이를 '감시 가능성 상실(loss of monitorability)'이라는 틀로 정리했다. 오늘의 모델은 감시가 완벽하지는 않아도 위험을 평가하고 완화할 만큼은 들여다보인다. 그런데 그것을 가능하게 만드는 성질들이 앞으로 바뀌거나 나빠질 수 있고, 그 경로를 빠짐없이 나열해보자는 것이 이 작업의 목표다.

연구팀은 광범위한 문헌 조사와 여러 기관·내부 전문가 인터뷰를 병행했다. 특정 질문에 의견을 달라고 요구하는 대신 열린 형태로 물었고, 그 결과 논의를 여섯 영역으로 나누는 편이 낫다는 결론에 이르렀다. 모델의 행동, 지금은 텍스트인 사고 사슬, 잠재 표현, 기억을 저장하고 공유하는 방식, 사고 실행 환경의 재현성, 그리고 학습 과정이다. 이 가운데 '사고 재현성'은 예상보다 자주 언급된 항목으로, 모델 자체보다 배포 환경의 성질에 가깝다.

가장 깊이 다룬 것은 사고 사슬 모니터링이다. 인터뷰에 응한 다수가 이것을 현재 가장 유용한 감시 수단으로 꼽았지만, 동시에 한계도 분명히 했다. 오탐이 나오고 사고 사슬이 늘 실제 추론에 충실하지도 않아서, 정말 심각한 문제를 남에게 납득시키는 근거로 쓰기는 어렵다는 것이다. 앞으로 모델이 사고 사슬로 추론할 '필연성'은 거의 사라질 것이라는 데 이견이 적었고, 다만 일정량을 말로 풀어내는 '성향'은 꽤 오래 남아 쓸모가 있을 것이라는 견해가 있었다.

대책으로는 기술과 거버넌스 양쪽이 언급됐다. 기술 쪽 핵심은 '감시 기법을 상대로 최적화하지 말라'는 것이다. 두 기법이 서로 얼마나 비슷한지, 한쪽을 학습 목표로 삼으면 다른 쪽까지 오염되는지를 실제로 측정해야 하며, 학습에 쓰지 않고 따로 떼어둘 홀드아웃 기법을 정해두는 방식이 제시됐다. 거버넌스 쪽에서는 감시 가능성이 디버깅에 유용하므로 성능 관점에서도 지킬 이유가 있다는 논지를 더 분명히 세우자는 제안, 그리고 전부 공개하기 어렵다면 제3자 감사 기관과라도 최대한 공유하자는 제안이 나왔다.

주요 인사이트

• 이 발표의 핵심은 '위험이 커진다'가 아니라 '위험을 볼 수 있게 해주던 조건이 사라진다'는 데 있다. 감시 가능성은 안전 대책의 결과가 아니라 전제이며, 전제가 무너지면 그 위에 쌓은 대책도 함께 흔들린다.
• 사고 사슬을 학습 목표로 삼지 않는다고 믿어도 실제로는 그렇지 않을 수 있다는 지적이 나왔다. 결과 기반 감독이 사고 사슬로 흘러넘치는 경로가 문헌에서 여럿 확인됐고, 프런티어 연구소 밖에서는 학습 세부를 알 수 없어 확신하기 어렵다.
• '사고 재현성'이 감시의 핵심 요소로 떠오른 점은 시사적이다. 모델을 아무리 잘 만들어도 문제가 생겼을 때 되짚어볼 수 없는 배포 환경이라면 감시는 성립하지 않는다. 안전은 모델 안쪽만의 문제가 아니다.
• 발표자는 값비싼 해법보다 값싼 해법을 먼저 권했다. 일단 측정을 시작하는 것만으로도 의미가 있고, 감시 가능성을 떨어뜨리는 대규모 아키텍처 전환을 피하는 선택도 하나의 대책이 된다.
• 가장 인상적인 결론은 커뮤니티 내부의 이견이 예상보다 훨씬 컸다는 관찰이다. 그래서 그의 마지막 요청은 '분기점을 해소하는 연구를 하라'였다. 합의 없이 쌓인 논쟁은 거버넌스 결정을 지연시킨다.

자주 묻는 질문

관련 AI 소식