LLM 내성 능력 논문 리뷰 — 앤트로픽 개념 주입 실험을 해석가능성 연구자가 뜯어보다

핵심 메시지

• 논문의 대표 실험은 모델 내부 활성값에 특정 개념 벡터를 더한 뒤 '머릿속에 주입된 생각이 있느냐'고 묻는 것이다. 주입하지 않았을 때는 있다고 답하지 않는다는 대조군이 함께 제시된다.
• 리뷰어가 가장 놀랍다고 본 지점은 모델이 이상한 단어를 먼저 뱉어보지 않고도 '뭔가 주입됐다'고 알아채는 부분이다. 이에 대한 단순한 기계적 설명이 잘 떠오르지 않는다고 말한다.
• 반대로 억지로 말하게 한 단어를 '의도했다'고 답하는 실험은 더 평범한 설명이 가능하다. 문맥에서 튀는지를 감지하는 회로가 주입으로 교란됐을 뿐일 수 있다는 것이다.
• 성공률 자체는 낮다. 조건을 잘 맞춰도 20% 안팎이며, 논문도 이 점과 예시가 선별됐다는 사실을 본문과 각주에 분명히 밝히고 있다.
• 큰 모델일수록 성적이 좋지만, 베이스 모델과 비교하면 사후학습의 기여는 '없는데 있다고 말하는' 오답을 줄인 쪽일 수 있다는 해석도 함께 제시된다.

쉽게 이해하기

이 영상은 형식부터 특이하다. 리뷰어는 논문을 미리 읽지 않은 상태에서 화면을 켜고, 요즘 사람들이 실제로 논문을 접하는 방식대로 트윗 스레드부터 훑으며 자기 생각을 소리 내어 말한다. 어떤 대목이 중요하고 어떤 대목이 과장인지, 무엇을 확인해야 하는지를 판단해 가는 과정을 그대로 노출하는 구성이다.

실험 설계는 의외로 단순한 도구를 쓴다. 스파스 오토인코더 같은 복잡한 기법 대신, 대비되는 두 프롬프트의 활성값 차이를 그대로 개념 벡터로 삼는다. 리뷰어는 이 실용적인 선택을 높게 평가한다. 모델마다 큰 투자 없이 여러 프런티어 모델에 같은 실험을 돌릴 수 있고, 오픈소스 모델로 재현하기도 쉽기 때문이다. 벡터는 모델 층의 3분의 2쯤 되는 지점에 더해지고, 온도 0의 그리디 샘플링을 써서 결과를 고르기 어렵게 만들었다는 점도 좋은 관행으로 꼽는다.

다만 설계에는 걸리는 부분도 있다. 대화가 두 턴으로 구성되고, 모델의 첫 응답이 프리필로 채워져 있다. 리뷰어는 모델이 자연스럽게 답하게 두거나 한 턴으로 줄였을 때도 같은 결과가 나오는지 확인하는 절제 실험을 보고 싶다고 말한다. 또한 화려한 정성적 예시를 볼 때마다 '얼마나 선별된 것인가'를 먼저 물어야 한다고 강조하며, 논문이 이 점을 각주로 명시한 것은 모든 논문이 따라야 할 관행이라고 평가한다.

결과 해석에서 리뷰어는 흥미로운 것과 평범한 것을 갈라놓는다. 모든 문자를 대문자로 쓰게 하는 벡터를 넣었을 때 모델이 '큰 소리'라는 단어를 고르는 것은 놀랍지 않다. 벡터가 강하게 들어갔으니 관련 단어가 튀어나오는 것은 자연스럽다. 놀라운 것은 그 앞에 붙는 '나는 주입된 생각을 알아차렸다'는 판단 자체다. 반대로 아쿠아리움을 생각하라거나 생각하지 말라고 지시했을 때 내부 표현이 달라지는 결과는, 모델이 긍정 지시와 부정 지시를 다르게 처리하며 해당 문장에 더 주의를 기울이는 반사적 기제로도 설명될 수 있다고 본다.

왜 이 주제가 중요한지도 짚는다. 첫째, 모델을 조작해 '지금은 시험 중이 아니다'라고 믿게 만드는 평가 기법이 널리 쓰이는데, 모델이 주입을 알아챌 수 있다면 그 기법의 신뢰도가 흔들린다. 둘째, 미래 모델이 자기 내부 상태를 조절할 수 있다면 내부를 들여다보는 안전 기법을 회피할 여지가 생긴다. 셋째, 반대로 모델이 자기 행동의 이유를 정직하게 보고할 수 있다면 강력한 안전 도구가 된다. 리뷰어는 이 논문이 그 질문들에 결론을 주지는 않지만 무시할 수 없는 증거를 더했다고 정리한다.

주요 인사이트

• 정성적 예시가 화려할수록 선별 여부를 먼저 의심해야 한다. 리뷰어는 '자극적인 결과일수록 참일 확률보다 거짓일 확률이 높다'는 경험칙을 반복해서 적용한다.
• 사고 사슬을 거쳐 드러나는 내성과 한 번의 순전파 안에서 일어나는 내성은 안전 관점에서 성격이 다르다. 전자는 텍스트로 드러나므로 감시하기 쉽고, 후자는 그렇지 않다.
• 대비 프롬프트로 만든 벡터는 깔끔한 하나의 개념이 아니라 여러 개념이 뒤섞인 다발일 가능성이 크다. 모델이 뽑아내는 단어는 그중 하나가 우연히 위로 올라온 결과일 수 있다.
• 베이스 모델과 사후학습 모델을 비교한 그래프에서, 일부 모델은 탐지율이 거의 같고 오탐률만 줄었다. 사후학습이 내성 능력을 열어준 게 아니라 헛소리를 줄인 것일 수 있다는 해석이다.
• 리뷰어가 제안한 후속 실험은 구체적이다. 오픈소스 대형 모델로 재현하기, 모델에게 '주입된 생각을 알아차렸다'는 문장을 강제로 말하게 한 뒤 개념 식별률만 따로 재기, 자연스럽게 떠오른 생각을 크게 증폭했을 때도 같은 반응이 나오는지 확인하기 등이다.

자주 묻는 질문

관련 AI 소식