AI 해석가능성 강연 정리: 유도 헤드부터 억제 헤드까지, 언어 모델의 계산 모티프

핵심 메시지

• 회로 분석의 목표는 사례별 설명을 모으는 것이 아니라, 모델이 반복해서 쓰는 알고리즘적 부품을 뽑아내 높은 수준의 이해를 만드는 것이다.
• 간접 목적어 찾기 과제에서 발견된 회로는 중복 이름 감지, 억제, 복사라는 세 단계로 나뉘지만, 문장 구조를 조금만 바꿔도 설명력이 무너지는 취약함이 있다.
• 전혀 다른 과제인 색깔 물체 찾기와 비교했더니 회로가 대부분 겹쳤고, 차이는 억제 헤드가 인과적으로 관여하지 않는다는 점이었다.
• 억제 신호가 쓰이지 않던 과제에서 그 신호를 제자리로 겨냥해 주자 정확도가 크게 올랐고, 다른 회로 지표도 함께 개선됐다.
• 미세조정은 새 회로를 만들기보다 이미 있는 회로를 강화하는 쪽에 가깝다는 것이 여러 연구의 대체적인 결론이다.

쉽게 이해하기

굿파이어 소속 연구자가 스탠퍼드 강의에서 해석가능성 연구가 무엇을 줄 수 있는지 묻는 것으로 강연을 연다. 개별 입력마다 어떤 뉴런이 연결됐는지 나열하는 데 그치면 결과들이 서로 이어지지 않는 파편으로 남고, 해석되지 않은 모델을 그냥 쓰는 것과 크게 다르지 않다는 문제의식이다. 대신 그는 저수준 분석에서 반복적으로 나타나는 '계산 모티프'를 뽑아내면 모델이 무엇을 즐겨 구현하는지에 대한 추상이 생긴다고 주장한다. 대표 사례로 든 유도 헤드는 ABC ABC AB 다음에 C를 예측하듯 문맥에서 패턴을 찾아 이어지는 토큰을 끌어오는 어텐션 헤드로, 학술 검색만 해도 이를 다룬 논문이 수백 편에 이를 만큼 여러 과제에 재활용된다.

이어 잘 알려진 간접 목적어 찾기 회로를 뜯어본다. '존과 메리가 가게에 갔고, 존이 음료를 건넸다'는 문장에서 모델은 중복 등장한 이름을 먼저 알아채고, 그 정보를 억제 신호로 바꿔 뒤쪽 헤드에 보내며, 마지막에 주목한 이름을 그대로 복사해 출력한다. 문제는 설명이 아주 좁다는 점인데, 중간에 메리가 한 번 더 등장하는 문장을 끼워 넣으면 두 이름 모두 중복이 되어 회로 설명이 성립하지 않는다. 그래서 그는 여러 색깔 물체를 나열한 뒤 특정 물체의 색을 묻는, 겉보기에는 다르지만 문맥에서 무언가를 끌어온다는 구조는 닮은 과제를 가져와 경로 패칭으로 대조했고, 두 회로가 대략 78퍼센트 겹치며 결정적 차이는 색깔 과제에서 억제 헤드가 예측에 인과적으로 관여하지 않는다는 점임을 확인했다.

여기서 흥미로운 개입이 이어진다. 억제 헤드가 어디를 보는지만 조정해 오답 후보를 억제하도록 겨냥해 주자, 해당 과제 정확도가 50퍼센트 안팎에서 94퍼센트 수준까지 올랐다. 정답률만 오른 것이 아니라 오답에 대한 복사 헤드의 주목이 줄어드는 등 원래 회로에서 관찰되던 신호들도 함께 나타났다. 다만 강연자는 정답을 아는 상태에서 넣은 인위적 개입이며 공짜 점심은 없다고 스스로 선을 긋는다.

후속 연구에서는 억제 신호가 어떻게 전달되는지 더 파고들어, 여러 억제 헤드가 함께 쓰는 저차원 부분공간을 찾아냈다. 이 공간을 따라 움직이면 목록에서 몇 번째 항목에 주목할지가 바뀌는데, 긴 목록의 중간 항목들이 이 공간에서 서로 뭉쳐 있다는 사실은 모델이 목록 중간의 정보를 잘 못 꺼내는 현상에 기하학적 설명을 준다. 강연자는 3년 전 작은 과제 하나에서 출발한 분석이 다른 모델과 다른 행동에 대한 예측으로 이어졌다는 점을 성과로 꼽는다.

강연 후반부는 다른 모티프들과 남은 과제로 이어진다. 요일·월·서수처럼 자연스러운 순서를 공유하는 개념에서 다음 항목을 꺼내는 계승 헤드, 모델이 내부적으로 만들어 쓰는 위치 표현, 수 연산에 나타나는 나선형 구조, 토큰에 표식을 붙였다가 나중에 찾아 쓰는 결합 벡터 등이 소개된다. 반면 이런 구조를 찾는 작업이 대체로 수작업이라는 점, 어텐션 헤드가 늘 적절한 분석 단위라는 보장이 없다는 점, 무엇보다 아주 긴 사고 사슬을 해석할 도구가 아직 없다는 점이 과제로 남는다.

주요 인사이트

• 회로 분석에 흔히 따라붙는 '그래서 그 회로가 뭐 어떻다는 거냐'는 비판에, 이 강연은 회로가 내용과 무관하게 재사용된다는 실험으로 답한다. 겹치는 부품이 있다면 과제 수만큼 회로가 필요하지는 않다는 뜻이다.
• 모델이 간접 목적어를 고르는 방식은 문장을 문법적으로 파싱하는 것이 아니라, 중복된 이름을 억제하는 다소 조잡한 요령에 가깝다. 사람의 기대와 실제 구현이 다르다는 점 자체가 해석가능성의 수확이다.
• 목록 중간의 정보를 놓치는 현상처럼, 행동 관찰만으로는 '왜'를 알 수 없던 오류에 내부 구조가 설명을 준다. 원인을 알면 어떤 과제에서 또 실패할지 예측할 수 있다는 것이 실용적 가치다.
• 가중치를 공유 구조와 고유 구조로 분해한 연구에서는 논리 추론이 공유 구조를 많이 쓰고 암기는 가장 전용에 가까운 회로를 쓰는 스펙트럼이 나타났다. 암기가 왜 편집에 취약한지와 맞닿는 관찰이다.
• 강연자는 사전학습이 대부분의 능력을 만들고 미세조정은 그 위에 얇게 얹히는 쪽에 가깝다고 본다. 아쉬움으로 읽을 수도 있지만, 대규모 사전학습만으로 그만한 모델이 나온다는 사실이 오히려 놀랍다는 관점을 덧붙인다.

자주 묻는 질문

관련 AI 소식