트랜스포머 MLP 구조 해설: LLM이 사실을 저장하는 위치와 중첩 가설, GPT-3 파라미터 분포까지

핵심 메시지

• 구글 딥마인드 연구진은 운동선수와 종목을 연결하는 사례를 통해 언어모델의 사실 지식이 다층 퍼셉트론(MLP) 블록에 자리 잡은 것으로 보인다는 부분적 결과를 내놓았다.
• MLP 블록의 계산은 큰 행렬 곱 두 번과 그 사이의 단순한 비선형 함수로 끝나지만, 그 계산이 무엇을 의미하는지 해석하는 일은 훨씬 어렵다.
• 업 프로젝션 행렬의 각 행은 임베딩 공간의 방향을 묻는 질문처럼 작동하고, 다운 프로젝션 행렬의 각 열은 해당 뉴런이 켜졌을 때 더해질 방향을 담는다.
• GPT-3에서 MLP 블록에 배정된 파라미터는 약 1160억 개로 전체 1750억 개의 약 3분의 2를 차지한다.
• 실제 모델에서 개별 뉴런이 하나의 깨끗한 개념을 담는 경우는 드물며, 중첩(superposition) 가설이 해석 난이도와 확장성을 동시에 설명할 후보로 거론된다.

쉽게 이해하기

영상은 “마이클 조던이 하는 스포츠는 ___” 같은 문장을 언어모델이 정확히 채우는 현상에서 출발한다. 모델 어딘가에 특정 인물과 종목을 잇는 지식이 새겨져 있다는 뜻인데, 지난해 구글 딥마인드 연구진은 운동선수와 종목을 짝짓는 사례로 이 문제를 파고들었다. 완전한 기계적 해명에는 이르지 못했지만, 사실이 트랜스포머의 다층 퍼셉트론(MLP) 부분에 머무는 것으로 보인다는 큰 결론을 얻었다.

설명은 고차원 임베딩 공간에서 방향이 의미를 담는다는 전제로 이어진다. 여성과 남성 임베딩의 차이를 다른 남성 명사에 더하면 대응되는 여성 명사 근처에 도달하는 고전적 예처럼, 서로 거의 수직인 방향들이 각각 다른 특징을 나타낼 수 있다. 발표자는 이름 ‘마이클’, 성 ‘조던’, 그리고 ‘농구’에 각각 대응하는 방향이 있다고 가정한 장난감 예제로 블록 내부를 따라간다.

MLP 블록에서 각 벡터는 서로 대화하지 않고 병렬로 같은 연산을 거친다. 먼저 큰 행렬을 곱해 차원을 키우고 편향을 더하는데, 어떤 행이 ‘마이클＋조던’ 방향이고 편향이 -1이면 그 성분은 두 이름이 모두 담겼을 때만 양수가 된다. 이어 음수를 0으로 자르는 ReLU를 통과시키면 값은 정확히 AND 게이트처럼 작동하고, 이때 켜진 값들을 사람들은 트랜스포머의 ‘뉴런’이라고 부른다.

두 번째 행렬은 차원을 임베딩 크기로 되돌린다. 이 행렬은 행이 아니라 열 단위로 보는 편이 낫다. 각 열이 임베딩 공간의 방향이고, 대응하는 뉴런이 켜져 있을 때만 그 방향이 결과에 더해지기 때문이다. 첫 열이 ‘농구’ 방향이라면 두 이름이 모두 들어온 벡터에만 농구가 얹히며, 이 결과는 블록에 들어온 원래 벡터에 더해져 밖으로 나간다.

마지막으로 영상은 두 가지를 되짚는다. 하나는 파라미터 계산으로, GPT-3의 업 프로젝션은 5만에 가까운 행을 갖고 다운 프로젝션도 같은 규모라 블록당 약 12억 개, 96개 블록을 합치면 약 1160억 개가 된다. 다른 하나는 고차원의 성질이다. 정확히 수직인 방향은 차원 수만큼만 잡을 수 있지만 89~91도처럼 ‘거의 수직’을 허용하면 존슨-린덴슈트라우스 보조정리에 따라 그 수가 차원에 대해 지수적으로 늘어난다.

주요 인사이트

• MLP의 연산 자체는 학부 수준의 기본 신경망과 동일하다. 어려운 것은 계산이 아니라 그 계산이 고차원 공간에서 무슨 의미인지 해석하는 일이라는 점이 이 영상의 핵심 메시지다.
• 편향을 -1로 두는 가정은 임의의 장식이 아니라, ‘마이클’과 ‘조던’이 동시에 있을 때만 양수가 되도록 만들어 ReLU 뒤에서 깨끗한 AND 게이트를 얻기 위한 장치다.
• 행렬을 행 단위로 보면 ‘무엇을 묻는가’가 보이고 열 단위로 보면 ‘무엇을 더하는가’가 보인다. 같은 행렬 곱을 보는 두 시선이 각각 업·다운 프로젝션 해석에 대응한다.
• GPT-3의 MLP 블록 뉴런 수는 약 5만 개지만 입력 토큰마다 그 계산이 반복되므로, 실제 활성값의 개수는 5만 곱하기 토큰 수가 된다.
• 거의 수직인 방향을 쓰면 차원보다 훨씬 많은 개념을 담을 수 있고, 이는 성능이 규모와 함께 잘 커지는 이유를 일부 설명한다. 대신 하나의 특징이 단일 뉴런으로 드러나지 않아 희소 오토인코더 같은 도구가 필요해진다.

자주 묻는 질문

관련 AI 소식