기계적 해석 가능성이란 무엇인가, 신경망 회로와 중첩 문제를 크리스 올라가 설명하다

핵심 메시지

• 기계적 해석 가능성은 학습된 신경망의 가중치를 사람이 읽을 수 있는 소스 코드처럼 되돌리려는 시도다.
• 가중치는 그 자체로는 무의미하지만 양쪽 끝의 특징에 연결해 맥락을 주면 뚜렷한 구조가 드러난다.
• 뉴런 하나가 서로 무관한 여러 개념에 반응하는 이유는 모델이 뉴런 수보다 많은 특징을 담으려 하기 때문이라는 '중첩' 가설로 설명된다.
• 중첩을 풀지 못하면 모델 안에 아직 드러나지 않은 행동이 숨어 있을 가능성을 배제할 수 없다.
• 신경망 연구는 뇌 연구에 비해 모든 연결과 활성값에 자유롭게 접근할 수 있다는 압도적인 이점을 가진다.

쉽게 이해하기

2023년 샌프란시스코에서 열린 얼라인먼트 워크숍에서 앤스로픽의 크리스 올라가 자신이 개척해 온 기계적 해석 가능성 연구를 소개했다. 그는 이 분야의 목표를 익숙한 비유로 시작했다. 일반적인 소프트웨어는 기획 문서에서 소스 코드로, 다시 컴파일된 바이너리로 이어지지만, 신경망은 학습 목표에서 곧바로 파라미터로 넘어가 그 중간에 소스 코드에 해당하는 단계가 아예 없다. 학습된 파라미터를 그 빠진 소스 코드로 되돌리는 것이 이 연구의 목표다.

올라는 해석 가능성이 '쉬운 일'이거나 '불가능한 일'이라는 이분법을 경계했다. 그가 보기에 신경망을 이해하는 일은 리눅스 커널을 아무 사전 지식 없이 역공학하는 것보다도 어려울 수 있지만, 세포를 이해하는 일이 어렵다고 해서 불가능하다고 말하지 않듯 그 사이에 넓은 중간지대가 있다. 그래서 전략은 신경망 전체를 한 번에 이해하는 대신 아주 작은 부분부터 엄밀하게 이해하고 그 영역을 조금씩 넓혀 가는 것이다.

비전 모델에서는 특징, 가중치, 회로라는 세 가지 단위가 쓰인다. 인셉션 V1에는 곡선 검출기가 존재하는데, 연구팀은 여기에 논문 두 편을 쏟아부어 회로를 처음부터 다시 구현해 보는 수준까지 검증했다. 흥미로운 지점은 가중치가 홀로 있을 때는 아무 의미가 없다가, 양쪽 끝에 붙은 특징이 무엇인지 알려 주는 순간 구조가 선명해진다는 것이다. 오른쪽을 향한 개 머리 검출기가 머리와 목을 함께 잡는 검출기를 흥분시키되 위치가 맞을 때만 그렇게 하는 식이다.

다만 이 그림은 지나치게 낙관적이다. 신경망에는 서로 무관한 여러 개념에 동시에 반응하는 다의적 뉴런이 가득하다. 올라가 제시한 설명은 '중첩'이다. 모델은 자신이 가진 뉴런 수보다 훨씬 많은 특징을 표현하고 싶어 하고, 그래서 더 큰 희소 신경망을 접어 눌러 담은 것 같은 상태가 된다. 이 경우 뉴런은 특징이 아니라 특징들의 선형 결합에 대응하게 된다. 장난감 모델 실험에서는 특징이 희소해질수록 2차원 공간에 다섯 개의 특징을 밀어 넣는 일까지 일어났고, 중첩 상태에서 실제 계산까지 수행할 수 있음이 확인됐다.

트랜스포머에는 비전 모델과 다른 두 가지 구조가 있다. 층마다 값을 더하고 빼는 잔차 스트림은 층을 건너뛰는 암묵적 연결을 잔뜩 만들어 내고, 어텐션 헤드는 새로운 종류의 해석 단위를 만든다. 그중 인덕션 헤드는 이전에 같은 것이 나온 자리를 찾아 그다음에 왔던 것을 복사해 내놓는 회로로, 문맥 안에서 배우는 능력의 상당 부분을 떠받치는 것으로 보인다. 이 회로가 형성되는 순간은 학습 손실 곡선에 눈에 보이는 굴곡을 남기고 스케일링 법칙에서도 이탈로 나타난다.

주요 인사이트

• 특징 시각화 이미지는 결정적 증거가 아니라 '변수 이름'에 가깝다. 올라는 실제 코드에 해당하는 것은 가중치이며, 자동차 검출기를 창문 검출기와 바퀴 검출기의 조합으로 보여주는 것보다 더 단순한 설명은 없다고 말했다.
• 안전 측면에서 그가 제시한 지향점은 '어떤 상황에서도 모델이 의도적으로 X를 하지 않는다'는 형태의 진술이다. 이를 위해서는 특징을 빠짐없이 확인하는 문제와 거대 모델로 규모를 키우는 문제를 풀어야 하는데, 그는 확장성에는 비교적 낙관적이지만 누락 없는 확인 쪽을 훨씬 더 걱정한다고 밝혔다.
• 인덕션 헤드는 학습 도중 하나씩 생기지 않고 필요한 재료가 갖춰지는 순간 짧은 구간 안에서 대부분이 한꺼번에 형성된다.
• 신경망 연구자는 신경과학자에 비해 모든 뉴런의 활성값을 비파괴적으로 수집할 수 있고, 어떤 연결이 흥분성인지 억제성인지까지 아는 완전한 연결 지도를 가지며, 같은 모델을 동료에게 그대로 넘겨 같은 질문을 던질 수 있다.
• 언어 모델에서 중첩이 더 심한 이유로는 두 가지가 꼽혔다. 특징의 중요도 곡선이 더 평평하고, 개별 특징이 훨씬 드물게 등장한다는 것이다. 이미지 한 장에 수직 모서리는 수없이 많지만 특정 인물이 언급되는 빈도는 수억 토큰에 한 번 수준일 수 있다.

자주 묻는 질문

관련 AI 소식