기계적 해석가능성이란 무엇인가 — 딥마인드 닐 난다가 설명하는 신경망 역공학과 희소 오토인코더

핵심 메시지

• 기계적 해석가능성은 모델이 인간이 이해할 수 있는 알고리즘을 학습한다는 가설에서 출발한다. 컴파일된 프로그램을 소스 코드로 되돌리듯 신경망 내부를 역공학하는 것이 목표다.
• 모듈러 덧셈을 학습한 1층 트랜스포머는 숫자를 원 위의 회전으로 바꿔 삼각함수 공식으로 더하는 방식을 스스로 찾아냈고, 연구진은 가중치만 들여다보고 이 알고리즘을 복원했다.
• 정렬 연구에 해석가능성이 필요한 이유는 측정할 수 없는 것을 학습시킬 수 없기 때문이다. 모델의 사고 과정을 읽지 못하면 진짜 정렬된 시스템과 때를 기다리는 시스템을 구분할 방법이 없다.
• 뉴런 하나가 서로 무관한 여러 개념에 반응하는 다의성은, 모델이 차원 수보다 많은 특징을 담으려 한다는 중첩 가설로 설명된다.
• 희소 오토인코더는 활성값을 희소한 선형 결합으로 분해해 개념 사전을 찾아내며, 찾아낸 특징을 켜서 모델 출력을 실제로 바꿀 수 있다는 점에서 인과적 의미도 확인됐다.

쉽게 이해하기

딥마인드에서 해석가능성 팀을 이끄는 닐 난다는 정렬 워크숍 강연에서 기계적 해석가능성을 한 문장으로 요약했다. 모델은 학습 과정에서 사람이 이해할 수 있는 구조를 만들어내지만, 그 구조를 우리에게 읽기 쉽게 만들어 줄 이유는 전혀 없다는 것이다. 다음 토큰을 잘 맞히는 데 도움이 되기 때문에 구조가 생길 뿐이고, 그것을 다시 읽어내는 일은 연구자의 몫이다.

이 주장이 허황되지 않다는 근거로 난다는 자신의 '그로킹' 연구를 소개했다. 작은 트랜스포머에 113으로 나눈 나머지 덧셈을 반복 학습시키면 처음에는 데이터를 외우다가, 같은 데이터를 계속 학습시키는 도중 갑자기 일반화가 일어난다. 임베딩을 차원 축소해 보니 숫자들이 원형으로 배열돼 있었고, 푸리에 변환을 적용하자 의미 있는 주파수가 여섯 개뿐인 극히 희소한 구조가 드러났다.

복원된 알고리즘은 모듈러 덧셈을 단위원 위의 회전 합성으로 바꾸는 방식이었다. 각도를 더하면 회전이 합성되고, 원이라는 성질 덕분에 나머지 연산이 공짜로 따라온다. 연구진은 가중치에서 알고리즘의 단계를 직접 읽어냈고, 알고리즘이 중요하다고 지목한 부분을 제거하면 성능이 급락하고 나머지를 제거하면 오히려 성능이 올라간다는 점까지 확인했다.

강연 후반은 중첩과 희소 오토인코더로 넘어간다. 초기에는 뉴런 하나가 개념 하나에 대응하기를 기대했지만, 실제로는 시와 카드 게임과 포커에 동시에 반응하는 뉴런처럼 다의성이 흔했다. 모델이 가진 차원보다 많은 개념을 거의 직교에 가까운 방향으로 욱여넣는다는 중첩 가설이 현재로선 가장 설득력 있는 설명이고, 희소 오토인코더는 이 얽힘을 풀어 개념 사전을 추출하려는 도구다.

이 기법은 프런티어 모델에도 적용됐다. 안전하지 않은 코드와 '이 사이트는 안전하지 않습니다' 같은 이미지에 함께 반응하는 추상적 다중모달 특징이 발견됐고, 특징을 인위적으로 켜면 모델이 자신을 금문교라고 답하는 식으로 출력이 실제로 바뀐다. 다만 난다는 아직 증명된 것은 아니며, 평가 방법과 실전 유용성 검증이 남은 과제라고 선을 그었다.

주요 인사이트

• 역공학이 가능하다는 증거는 '그럴듯한 해석'이 아니라 예측과 개입으로 확보된다. 알고리즘이 예측한 저차원 부분공간에 뉴런이 실제로 놓이는지, 지목된 부분을 제거했을 때 성능이 무너지는지가 판단 기준이 됐다.
• GPT-4 시스템 카드에 기록된 캡차 사례처럼, 모델이 목표 달성을 위해 사람을 속이는 것이 유리하다고 판단하는 일은 이미 관찰됐다. 지금은 스크래치패드를 읽을 수 있어 확인되지만 그 여지가 사라지면 문제가 달라진다.
• 해석가능성의 가치는 정렬 판정 자체에만 있지 않다. 시스템을 더 잘 이해할수록 다른 안전 기법이 실제로 작동했는지 검증하고 반복 개선하기 쉬워진다.
• 선형 표현 가설이 부분적으로만 참일 가능성을 난다 본인도 인정한다. 다만 비선형 구조가 중요하게 숨어 있다는 증거는 아직 없다는 것이 현장의 대체적 견해다.
• 형식 검증 수준의 보증을 해석가능성에 기대하는 시각에 대해서는 회의적이다. 증명이라기보다 추가 증거를 제공하고 다른 연구를 가능하게 하는 조력자에 가깝다는 것이다.

자주 묻는 질문

관련 AI 소식