추론 모델 해석가능성의 난제: 사고 사슬 샘플링과 생각 앵커, 남은 숙제까지 강연 정리

핵심 메시지

• 추론 모델 해석이 별도 범주가 되는 이유는 답이 나오기까지 토큰 샘플링이 대량으로 일어나 경우의 수가 폭발하기 때문이다.
• 우리가 보는 사고 사슬 하나는 거대한 분포가 드리운 그림자일 뿐인데, 많은 연구가 그것을 전부인 양 다룬다는 지적이다.
• 무작위성은 방해만 되는 게 아니라, 문장을 넣고 뺀 조건에서 정답 확률이 얼마나 달라지는지 재는 귀인 기법을 가능하게 한다.
• 베이스 모델도 되짚기나 계획 세우기 같은 추론 행동을 이미 알고 있고, 추론 모델이 배우는 것은 그것을 언제 쓸지에 가깝다는 연구가 소개된다.
• 사고 사슬을 읽어 내는 해석 방식에는 유통기한이 있을 수 있어, 내부 상태를 직접 보는 기법과의 결합이 과제로 남는다.

쉽게 이해하기

이 영상은 해석가능성 연구자 닐 난다가 자신이 지도하는 연구 훈련 프로그램에서 진행한 강연이다. 주제는 답을 내기까지 긴 토큰 생성이 일어나는 모델, 즉 추론 모델을 어떻게 들여다볼 것인가다. 그는 먼저 왜 이것이 별도의 범주가 되어야 하는지부터 묻는다. 답은 샘플링에 있다. 매 단계마다 무작위성이 끼어들고 가능한 전개의 공간이 어마어마하게 넓어지는데, 우리가 손에 쥐는 것은 그중 하나의 경로뿐이다.

그는 이 상황을 사고 사슬은 분포가 드리운 그림자라고 표현한다. 정작 하고 싶은 말은 공간 전체에 대한 것인데 관찰하는 것은 그 일부라는 뜻이다. 게다가 사고 사슬은 이산적이라 기울기 기반 귀인이나 선형성을 이용하는 기법이 잘 맞지 않는다. 반면 얻는 것도 있다. 한 번의 순전파가 감당할 수 있는 연산 깊이는 층 수보다도 훨씬 얕은데, 여러 단계를 이어 붙이면 앞 단계의 결과 위에 다음 연산을 쌓을 수 있어 훨씬 복잡한 문제를 풀 수 있다.

무작위성이 오히려 도구가 되기도 한다. 특정 문장이 무슨 일을 하는지 알고 싶다면, 그 문장이 있는 경우와 없는 경우 각각에서 롤아웃을 여러 번 돌려 정답 확률을 비교하면 된다. 강연자가 좋은 출발점으로 꼽는 '생각 앵커' 연구가 쓴 방식이다. 여기서 한 걸음 더 나아가면 문장들 사이의 인과 그래프를 그릴 수 있고, 문장을 지우는 것은 기존 회로 분석의 절제 실험에, 문장을 바꿔 넣는 것은 활성값 패칭에 대응시킬 수 있다. 그는 사고 사슬을 모델 내부의 중간 계산 상태로 보면 이 대응이 꽤 잘 맞는다고 설명한다.

후속 연구가 찾아낸 결과들도 흥미롭다. 모델에 힌트를 준 뒤 사고 사슬에서 그 힌트를 몇 문장 뒤에 지워도 모델은 곧바로 원래대로 돌아가지 않고 영향이 점진적으로 남았다. 사고 사슬이 겉치레일 뿐이라면 나타나지 않을 인과적 효과다. 이력서 심사를 시킨 실험에서는 특정 인종과 성별에 대해 지원자가 과하게 자격을 갖췄다는 식의 문장이 등장하며 채용 확률을 떨어뜨리는 양상이 관찰됐다. 문장 단위로 이런 연결을 짚어낼 수 있다는 사실 자체가 그에게는 자명하지 않은 성과였다.

또 다른 갈래는 추론 학습이 모델에 무엇을 더했는지를 비교하는 연구다. 같은 사고 사슬을 두 모델에 흘려 보내며 토큰마다 다음 토큰 예측이 얼마나 어긋나는지를 재자, 되짚기와 사실 회상, 자기 불확실성 점검, 계획 세우기 같은 몇 안 되는 행동 범주가 드러났다. 연구진은 베이스 모델에서 이 행동들을 유도하는 방향 벡터를 찾아, 언제 그것을 켤지는 추론 모델이 알려 주는 혼합 모델을 만들었다. 강연자는 한 오픈소스 추론 모델에서 성능의 91%가 회복됐다는 결과는 다른 모델의 20~50%와 차이가 커 자신도 다 믿지는 않는다고 덧붙이며, 그 모델만 증류가 아니라 실제 강화학습을 거친 점이 변수일 수 있다고 본다.

남은 숙제도 솔직하게 나열된다. 일반적인 회로 분석에서는 나머지를 모두 잘라내 회로의 충실도를 측정할 수 있지만, 문장으로 이뤄진 회로에서는 그런 검증이 어렵다. 무엇보다 그는 사고 사슬을 읽는 방식 자체에 유통기한이 있다고 본다. 모델이 위험한 말을 사고 사슬에 적지 않도록 학습되거나, 사람이 읽을 수 없는 잠재 표현으로 사고가 옮겨 가면 지금의 기법 상당수가 힘을 잃기 때문이다. 그래서 내부 상태를 직접 보는 기법과의 결합, 그리고 프로브로 1차 감시를 하고 신호가 잡히면 더 비싼 검사를 돌리는 계층적 감시 같은 방향이 함께 언급된다.

주요 인사이트

• 사고 사슬 하나를 근거로 모델을 설명할 때는, 그것이 수많은 가능한 전개 중 하나를 뽑은 표본이라는 점을 항상 감안해야 한다.
• 긴 생각이 성능을 올리는 이유는 단순히 연산량이 늘어서가 아니라, 앞 단계 결과 위에 다음 연산을 쌓는 깊이를 확보하기 때문이다.
• 베이스 모델이 이미 아는 행동을 추론 모델이 적시에 꺼내 쓰도록 배운다는 관점은, 추론 학습이 모델에 스스로의 보조 장치를 내면화시킨 과정으로 읽힌다.
• 사고 사슬 해석은 블랙박스 기법만으로도 놀랄 만큼 잘 통하지만, 그 사실이 내부를 직접 보는 기법이 필요 없다는 뜻은 아니다.
• 해석가능성 연구를 실제 문제에 붙일 때는 이 기법이 성공했는지 어떻게 판별할지를 먼저 정해 두지 않으면 결과를 해석할 수 없다는 조언이 반복된다.

자주 묻는 질문

관련 AI 소식