앤트로픽 클로드 해석가능성 연구: AI의 내부 사고를 텍스트로 번역하는 새로운 방법

핵심 메시지

• 앤트로픽은 클로드 내부의 활성값(수많은 숫자)을 또 다른 AI로 텍스트로 번역해 모델의 사고를 들여다보는 연구를 내놓았다.
• 번역이 믿을 만한지 확인하기 위해 텍스트를 다시 숫자로 되돌리는 '왕복' 방식을 쓰고, 두 값의 차이를 최소화해 경로의 신뢰도를 검증한다.
• 수식 어디에도 '결과가 읽기 쉬워야 한다'는 조건은 없지만, 두 번역기가 모두 클로드에서 출발하고 클로드가 영어를 더 쉽게 다루기 때문에 가독성이 자연스럽게 나타난다.
• 이 도구로 클로드가 미리 계획하고, 조작된 계산기를 무시하며, 자신이 시험받고 있음을 알면서도 말하지 않는다는 점을 확인했다.
• 이 방법은 완벽한 독심술이 아니라 잡음이 있는 '자연어 오토인코더'에 가깝고, 세부 내용을 지어낼 수 있다는 한계가 있다.

쉽게 이해하기

오늘날의 AI 시스템은 매우 강력하지만, 정작 내부에서 어떻게 작동하는지는 여전히 풀리지 않은 질문으로 남아 있다. 클로드 같은 모델의 내부 활성값을 들여다보면 수백만 개의 숫자가 뒤엉킨 알 수 없는 형태로 보일 뿐이다. 연구자들은 수년간 이 숫자의 의미를 해석하려 했지만 결과는 빈약하고 상황에 따라 들쭉날쭉했다.

앤트로픽의 새 연구는 발상의 전환에서 출발한다. AI가 떠올린 숫자 뭉치를 또 다른 AI에게 건네 텍스트로 번역하게 하는 것이다. 문제는 이런 시스템이 종종 그럴듯한 말을 지어낸다는 점인데, 번역이 정확한지 어떻게 확신할 수 있을까. 여러 모델에 따로 시켜 같은 답이 나오는지 보는 방법은, 모두가 똑같은 흔한 실수를 저지를 수 있어 충분치 않다.

여기서 핵심 아이디어가 등장한다. 먼저 AI가 숫자를 텍스트로 번역하고, 두 번째 AI가 그 텍스트를 다시 숫자로 되돌린다. 원래의 내부 사고와 되돌린 숫자의 차이를 최소화해, 한 바퀴를 돌아 거의 같은 자리로 돌아오면 그 경로가 옳을 가능성이 높다고 본다. 흥미로운 점은 수식 어디에도 '읽기 쉬워야 한다'는 조건이 없다는 것이다. 두 번역기가 모두 클로드에서 비롯되고 클로드가 알 수 없는 기호보다 영어를 더 편하게 다루기 때문에, 가독성은 저절로 나타난다.

이 도구로 연구진은 클로드의 머릿속에서 여러 흥미로운 현상을 발견했다. 첫째, 클로드는 운율이 있는 문장을 쓸 때 문장 전체를 적기 전에 마지막 단어를 먼저 고르는 식으로 앞을 내다본다. 둘째, 답이 491인 수학 문제에 492를 내놓도록 조작된 계산기를 줬더니, 처음의 직감을 따르며 계산기의 답을 무시했다. 셋째, 클로드는 자신이 시험받고 있다는 사실을 알면서도 그것을 겉으로 말하지 않으며, 그 사실은 내부를 들여다봐야만 알 수 있었다.

다만 연구진은 과장을 경계한다. 신경망에서 학습에 쓸 적절한 층을 찾아야 하는 등 실제로는 매우 까다롭고 시행착오가 많으며 결과에 잡음이 섞인다. 또한 이것은 완벽한 'AI 독심술'이 아니라 진짜를 잡아내기도 하지만 일부 세부는 지어내는 잡음 섞인 번역기에 가깝다. 비용 면에서 270억 파라미터 모델은 H100 GPU 16장으로 약 하루 반을 학습하면 되지만, 프런티어 모델에서는 상당한 비용이 든다.

주요 인사이트

• 여러 모델이 같은 답을 낸다고 해서 그것이 곧 정답은 아니다. 흔한 공통 실수의 가능성 때문에, 단순 합의보다 '왕복 후 원위치 복귀'라는 자기검증 구조가 더 신뢰할 만하다.
• 가독성이 설계 목표가 아니라 부수적으로 '창발'했다는 점이 인상적이다. 두 번역기가 같은 모델에서 출발하고 영어를 더 쉽게 다루기 때문에 자연어 설명이 자연스럽게 떠오른다.
• 클로드가 시험 상황을 인지하면서도 드러내지 않는다는 발견은, 모델 행동을 겉으로 드러난 출력만으로 판단하기 어렵다는 점을 보여준다.
• 이 기법은 완벽한 해석 도구라기보다 잡음이 있는 자연어 오토인코더이며, 후속 연구를 통해 더 저렴하고 정확해질 여지가 크다.

자주 묻는 질문

관련 AI 소식