트랜스포머 한계 연구: 형식언어 이론으로 본 어텐션 레이어 깊이와 길이 일반화 문제

핵심 메시지

• 정규표현식은 1951년 신경망을 연구하려고 만들어졌을 만큼, 형식언어와 신경망의 접점은 오래된 주제다.
• 트랜스포머의 실제 행동은 문맥자유언어나 정규언어 같은 기존 언어 계층 어디에도 깔끔하게 들어맞지 않는다.
• 연구진은 세는 연산을 중심에 둔 프로그램 모델을 정의하고, 프로그램의 중첩 깊이가 트랜스포머의 어텐션 레이어 수와 대응함을 보였다.
• A와 B 블록이 번갈아 나오는 언어를 이용해 깊이가 하나 모자라면 인식이 불가능하다는 깊이 분리 결과를 증명했고, 실험 곡선도 이론의 계단 모양을 따라갔다.
• 길이 일반화가 가능한지는 이 형식 언어로 표현 가능한지와 잘 맞아떨어졌지만, '얼마나 긴 데이터를 봐야 하는가'는 일반적으로 계산 불가능하다는 부정적 결과가 나왔다.

쉽게 이해하기

미국 노터데임대 박사과정 연구자 앤디 양이 TTIC에서 발표한 이 강연은, 트랜스포머를 형식언어 이론의 눈으로 다시 보자고 제안한다. 출발점은 트랜스포머를 문자열을 받아 마지막 위치의 출력으로 수락과 거절을 결정하는 인식기로 추상화하는 것으로, 이렇게 놓으면 수십 년간 축적된 형식언어 연구의 도구를 그대로 끌어올 수 있다. 다만 트랜스포머가 실제로 학습해 내는 과제들은 정규언어나 문맥자유언어 같은 고전적 분류와 잘 겹치지 않는다. 0과 1의 개수를 세어 짝수인지 판단하는 패리티는 정규언어인데도 학습이 어렵고 괄호 짝 맞추기 같은 문맥자유언어는 잘 해내니, 새로운 도구가 필요하다는 문제의식이 여기서 나온다.

연구진이 쓰는 도구는 트랜스포머의 계산을 프로그램 형태로 표현하는 형식 모델이다. 핵심 연산은 '지금 위치 이전에서 조건을 만족하는 위치가 몇 개인가'를 세는 것으로, 인과 마스킹이 걸린 어텐션과 자연스럽게 대응된다. 괄호 언어를 예로 들면 여는 괄호와 닫는 괄호 개수를 세고, 어느 지점에서도 닫는 괄호가 더 많지 않으며 마지막에 개수가 같은지를 검사하는 프로그램으로 쓸 수 있다. 이때 세는 연산이 몇 겹으로 중첩됐는지가 프로그램의 깊이다.

고정 정밀도를 가정하면 깊이 K짜리 프로그램과 어텐션 레이어 K층짜리 트랜스포머의 표현력이 정확히 일치한다는 것이 첫 번째 결과다. 이를 바탕으로 A와 B 덩어리가 K+1번 번갈아 나오는 언어는 깊이 K로는 인식할 수 없음을 증명했다. 증명은 문자열을 평면 위의 경로로 보고, 어떤 경계선도 가로지르지 않는 구간을 찾아 앞뒤를 고정하며 깊이를 한 단계씩 깎아 내리는 방식이다. 짧은 문자열로 학습해 긴 문자열로 시험한 실험에서도, 깊이가 부족해지는 지점부터 성능이 이론의 예측선 아래로 떨어졌다.

두 번째 사례는 길이 일반화다. 문자열을 그대로 복사하는 과제는 직관적으로 쉬워 보이지만 학습 길이를 넘어서면 성능이 무너진다. 반면 모든 기호가 서로 다른 복사 과제는 길이가 늘어도 잘 버틴다. 위치의 짝수·홀수 같은 주기 판정과 바로 앞 위치 확인 같은 국소 판정을 더한 확장 모델로 보면 이 차이가 설명된다. 기호가 모두 다르면 인접 쌍이 유일해져 표현 가능하지만, 반복 기호가 있는 복사는 저장할 수 있는 정보량의 병목에 걸려 표현 자체가 불가능하다.

마지막 사례는 '그래서 얼마나 긴 데이터가 필요한가'다. 충분히 긴 데이터를 보면 일반화한다는 결과는 있지만 그 길이의 하한을 구할 수 있느냐는 별개 문제다. 연구진은 깊이 2 이상에서 두 프로그램이 같은 언어를 인식하는지 판정하는 문제가 결정 불가능함을 보였고, 그로부터 필요한 길이의 계산 가능한 상한도 존재하지 않는다고 결론지었다. 다만 계수를 양수로 제한하고 세는 값에 상한을 두는 조각으로 좁히면 지수 형태의 상한을 얻을 수 있었다.

주요 인사이트

• '트랜스포머가 어떤 언어를 표현할 수 있는가'와 '실제로 학습해 내는가'는 다른 질문이며, 강연 중 청중과의 논쟁도 대부분 이 구분을 두고 벌어졌다.
• 실험에서 병목은 폭이 아니라 깊이였다. 폭을 적당히 늘려도 결과가 거의 바뀌지 않았고, 레이어 수가 모자라면 성능이 급격히 무너졌다.
• 위치 인코딩이 없으면 '바로 앞 토큰과 다른지'를 확인하는 단순한 일조차 어려워진다. 문자열 길이가 크게 달라질 때 위치를 가리키는 상수를 쓸 수 없기 때문이다.
• 길이 일반화 가능성에 대한 기존의 경험적 추측을, 무엇이 표현 가능하고 무엇이 불가능한지 증명할 수 있는 형식 언어로 옮긴 것이 이 연구의 실질적 기여다.
• 형식언어 이론을 쓰는 이득은 두 가지다. 축적된 하한 증명 기법을 그대로 빌려 쓸 수 있고, 잘 이해된 언어 계층을 신경망의 복잡도를 재는 자로 삼을 수 있다.

자주 묻는 질문

관련 AI 소식