트랜스포머 어텐션 원리와 한계: RNN과 비교로 쉽게 이해하기

핵심 메시지

• 트랜스포머는 문장 속 한 단어가 다른 모든 단어와 어떻게 연결되는지 점수로 계산해 문맥을 파악한다.
• 이전의 순환신경망(RNN)은 단어를 순서대로 읽으며 은닉 상태(hidden state)라는 기억에 이전 정보를 담아 전달했다.
• 트랜스포머의 성공은 설계의 우월함만이 아니라 대규모 투자와 대중적 관심이 더해진 결과였다.
• 모든 단어 쌍을 비교하는 구조 탓에 입력이 두 배가 되면 연산량은 네 배로 늘어나는 이차 복잡도(O(N²)) 문제가 있다.
• 문맥 창이 커질수록 어텐션이 분산되고, 여러 단계의 논리적 추론에는 여전히 약하다.

쉽게 이해하기

사람은 문장을 읽을 때 단어들이 서로 어떻게 관계 맺는지를 파악해 의미를 끌어낸다. 영상은 "나는 무화과나무 아래에서 네이선을 보았다"는 한 문장에서 여러 사실을 동시에 뽑아낼 수 있다는 점을 예로 든다. 어디에 강조를 두느냐에 따라 같은 사실을 다른 방식으로 표현할 수 있는데, 트랜스포머는 바로 이 "단어 간 관계"를 컴퓨터로 흉내 내려는 시도다.

트랜스포머는 한 단어가 문장 속 다른 모든 단어와 얼마나 관련되는지를 점수로 계산한다. 그래서 어떤 단어를 보든 그 단어가 쓰인 맥락을 통해 의미를 보강할 수 있다. 반면 트랜스포머 이전의 순환신경망은 문장을 한 단어씩 차례로 읽고, 앞선 토큰의 정보를 은닉 상태라는 기억에 담아 다음 단어로 넘겼다.

영상은 "왜 처음부터 트랜스포머를 쓰지 않았나"라는 물음에, 순환신경망도 제 역할을 했고 지금도 견고한 구조라고 답한다. 트랜스포머가 앞선 데는 설계의 잠재적 우수함뿐 아니라, OpenAI와 BERT가 대중의 관심을 사로잡고 막대한 투자를 끌어내 확장성을 끝까지 밀어붙인 실행력이 컸다.

다만 기본형(바닐라) 트랜스포머에는 한계가 있다. 모든 토큰을 서로 비교하기 때문에 문장 길이가 두 배가 되면 연산은 네 배가 되는 이차 복잡도가 생긴다. 이를 줄이려 입력을 그룹으로 묶거나 차원을 줄여 근사하는 변형들이 나왔지만, 품질 저하라는 대가 때문에 널리 쓰이지는 않는다. 자주 쓰이는 연산을 하나로 묶어 속도를 끌어올리는 플래시 어텐션(flash attention) 같은 기법도 등장했다.

문맥 창이 커질수록 어텐션이 희석되는 문제도 있다. 영상은 수백 가지 파란색 중 "파랑"을 고르라는 비유로, 선택지가 비슷할수록 집중이 어려워진다고 설명한다. 또 트랜스포머는 단어 간 통계적 상관은 잘 잡지만 여러 단계를 잇는 논리·기호적 추론에는 약하다. 이를 보완하려 풀이 과정을 예시로 제시하는 생각의 사슬(chain of thought) 프롬프트가 도입됐다.

주요 인사이트

• 어텐션의 핵심은 "순서대로 읽기"를 버리고 모든 단어 쌍의 관계를 동시에 따지는 것이며, 이것이 문맥 이해력의 원천이다.
• 이차 복잡도(O(N²))는 트랜스포머의 본질적 비용으로, 입력이 길어질수록 연산 부담이 급격히 커진다.
• 연산량을 줄이는 변형들이 있지만 품질 손실 때문에, 현 업계는 정확도를 위해 높은 연산 비용을 감수하는 쪽을 택하고 있다.
• 플래시 어텐션은 반복되는 연산을 하나로 융합해 추론 효율을 끌어올리는 대표적 최적화 기법이다.
• 트랜스포머의 추론 약점은 생각의 사슬 같은 프롬프트 기법으로 보완되며, 모델이 답을 곧장 내지 않고 단계를 밟도록 유도한다.

자주 묻는 질문

관련 AI 소식