트랜스포머 아키텍처 완전 초보 가이드 — 셀프 어텐션과 멀티헤드로 보는 현대 LLM 작동 원리

핵심 메시지

• 트랜스포머 이전의 RNN·LSTM은 단어를 하나씩 순차 처리해 긴 문장의 앞부분을 잊고 학습도 느렸다.
• 트랜스포머는 문장 전체를 한 번에 보고, 각 단어를 이해하는 데 어떤 단어가 중요한지 스스로 판단한다.
• 핵심은 셀프 어텐션으로, "그것(it)"이 무엇을 가리키는지 문장 내 모든 단어와의 관련도를 계산해 찾아낸다.
• 임베딩·위치 인코딩·멀티헤드 어텐션·피드포워드·잔차 연결·레이어 정규화가 한 층을 이루고, 현대 모델은 이 층을 수십 개 쌓는다.
• 이 구조는 2017년 논문 "Attention Is All You Need"에서 나왔고, 사실상 모든 현대 LLM이 여기서 영감을 받았다.

쉽게 이해하기

RNN과 LSTM은 책을 한 단어씩 읽어 나가듯 단어를 순차적으로 처리한다. 이 방식은 짧은 문장에는 통하지만 긴 문장에서는 앞부분의 중요한 정보를 점차 잊어버리고, 각 단어가 이전 단어의 처리가 끝날 때까지 기다려야 해서 학습이 느리다. 더 빠르고 나은 방식이 필요했고 그렇게 등장한 것이 트랜스포머다.

트랜스포머는 문장 전체를 한꺼번에 본다. "The cat sat on the mat because it was tired"에서 사람은 "it"이 cat을 가리킨다는 것을 즉시 아는데, 트랜스포머도 비슷한 판단을 학습한다. 첫 단계는 임베딩으로, 단어를 숫자 벡터로 바꾼다. 의미가 비슷한 단어는 비슷한 벡터가 되어 king·queen·prince·princess가 수학적으로 가깝게 배치된다.

모든 단어를 동시에 처리하다 보니 순서 정보가 사라지므로, 위치 인코딩이 각 단어가 문장 어디에 있는지 알려준다. "dog bites man"과 "man bites dog"처럼 같은 단어라도 순서가 바뀌면 뜻이 달라지기 때문이다. 이어지는 셀프 어텐션이 트랜스포머의 심장부로, 각 단어가 다른 모든 단어와 얼마나 강하게 연결되는지 계산해 관련이 높은 단어에 더 주목한다. "The animal did not cross the road because it was tired"에서 "it"이 animal임을 이렇게 찾아낸다.

어텐션 메커니즘 하나로는 부족해서 여러 개의 어텐션 헤드를 동시에 쓴다. 한 헤드는 문법에, 다른 헤드는 의미에, 또 다른 헤드는 단어들의 관계나 장거리 의존에 집중하는 전문가 팀처럼 동작하고, 마지막에 각자의 이해를 합쳐 결과를 만든다. 어텐션을 지난 각 단어는 작은 신경망인 피드포워드 네트워크를 통과하며 더 복잡한 패턴을 학습해 한층 풍부한 표현으로 바뀐다.

깊은 신경망은 여러 층을 지나며 정보가 사라지기 쉽고 학습이 어렵다. 잔차 연결은 출력에 원래 입력을 다시 더해 중요한 정보를 보존하고 학습을 안정시키며, 레이어 정규화는 값이 너무 크거나 작아지지 않게 균형을 유지한다. 한 층으로는 부족하기 때문에 현대 언어 모델은 이런 층을 수십 개 쌓아 언어 이해를 점진적으로 깊게 만든다. 발표자는 다음 편에서 쿼리·키·값을 더 깊이 다루겠다고 예고한다.

주요 인사이트

• 트랜스포머의 결정적 차이는 순차 처리를 버리고 문장 전체를 병렬로 본다는 점이며, 이것이 속도와 장거리 이해를 동시에 해결했다.
• 셀프 어텐션은 문장 속 특정 단어에 더 높은 우선순위를 부여하는 방식으로 대명사 지시 같은 문맥을 해결한다.
• 멀티헤드 어텐션은 문법·의미·관계·장거리 의존 같은 서로 다른 관점을 동시에 학습해 하나의 어텐션보다 풍부한 이해를 만든다.
• 잔차 연결과 레이어 정규화는 화려하지 않지만 깊은 모델을 안정적으로 학습시키는 필수 장치다.

자주 묻는 질문

관련 AI 소식