트랜스포머 구조 100초 정리: 셀프 어텐션과 인코더·디코더의 차이, 그리고 한계

핵심 메시지

• 트랜스포머는 순차 데이터를 다루는 방식을 바꾼 구조로, 텍스트를 넘어 이미지·오디오·단백질 구조까지 확장됐다.
• 기존 신경망이 데이터를 한 요소씩 처리한 것과 달리, 트랜스포머는 셀프 어텐션으로 전체 시퀀스를 한꺼번에 본다.
• '그것'이 무엇을 가리키는지 판단할 때 모델은 후보들에 어텐션 점수를 매겨 동시에 저울질한다.
• 입력을 이해하는 인코더와 출력을 만드는 디코더로 구성되며, BERT는 인코더만, GPT는 디코더만 쓰고 번역처럼 둘 다 쓰는 모델도 있다.
• 학습에 막대한 데이터와 연산이 필요하고 아주 긴 시퀀스에 약하며, 학습에서 본 패턴 안에서만 작동한다는 한계가 있다.

쉽게 이해하기

GPT 같은 언어모델을 떠받치는 구조가 트랜스포머라는 사실은 널리 알려져 있지만, 그것이 정확히 무엇을 다르게 하는지는 덜 알려져 있다. 이 영상은 트랜스포머의 핵심을 100초 안에 압축해 설명한다.

가장 큰 차이는 시퀀스를 보는 방식이다. 이전 신경망들은 데이터를 한 요소씩 순서대로 처리했다. 트랜스포머는 셀프 어텐션이라는 장치를 통해 시퀀스 전체를 한 번에 본다. 영상은 이를 책 읽기에 비유한다. 단어를 하나씩 따라가는 대신 어떤 단어든 다른 어떤 단어와 즉시 연결해 의미를 파악하는 방식이라는 것이다.

실제 계산은 어텐션 층에서 일어난다. 문장 속 '그것(it)'을 처리할 때 모델은 이 대명사가 앞 문장의 개를 가리키는지, 자동차인지, 집인지를 두고 각 후보에 어텐션 점수를 매긴다. 모든 가능성을 동시에 저울질하기 때문에 멀리 떨어진 단어 사이의 연결도 어렵지 않게 만들어낸다.

구조는 입력을 이해하는 인코더와 출력을 만드는 디코더로 나뉜다. BERT처럼 텍스트 이해에 인코더만 쓰는 모델이 있고, GPT처럼 생성에 디코더만 쓰는 모델도 있으며, 번역 같은 작업에서는 둘을 함께 쓴다. 영상은 이를 두 단계로 일하는 번역가에 빗댄다. 먼저 한 언어의 글을 읽고 이해하는 것이 인코더, 그다음 다른 언어로 옮겨 써내는 것이 디코더다. 이름의 '트랜스포머'는 토큰(글자 덩어리, 이미지 조각 등)의 시퀀스를 고차원 벡터로 바꾸고 다시 되돌리는 변환 과정에서 왔다.

장점과 한계도 함께 짚는다. 한번 학습해 두면 입력과 출력 형식만 바꿔 요약, 이미지 생성, 작곡, 코드 작성까지 같은 구조로 소화할 수 있다. 반면 학습에는 막대한 데이터와 연산이 필요하고, 아주 긴 시퀀스에서는 어려움을 겪으며 연산 비용도 커진다. 그리고 다른 AI 모델과 마찬가지로 학습 데이터에서 본 적 있는 패턴 안에서만 작동한다.

주요 인사이트

• 트랜스포머의 이름은 '변환'에서 왔다. 토큰을 고차원 벡터로 바꾸고 되돌리는 과정 자체가 구조의 정체성이라는 설명은, 이 구조가 왜 텍스트에만 묶이지 않는지를 알려준다.
• 이미지 조각이나 단백질 구조까지 같은 구조로 다룰 수 있는 이유는 입력을 토큰 시퀀스로 바꿀 수만 있으면 되기 때문이다. 범용성의 출처가 어텐션 자체보다 표현 방식에 있다는 뜻이다.
• 모델 이름만 알면 헷갈리기 쉬운 BERT와 GPT의 차이가 구조 수준에서 갈린다. 하나는 이해를 위한 인코더, 다른 하나는 생성을 위한 디코더로 출발점이 다르다.
• '전체를 한 번에 본다'는 장점은 곧 비용이기도 하다. 시퀀스가 길어질수록 연결해야 할 조합이 늘어나므로, 긴 문맥에 약하다는 한계는 구조의 강점에서 그대로 파생된다.
• 같은 구조로 여러 과제를 소화할 수 있다는 점은 입력·출력 형식을 어떻게 설계하느냐가 새로운 응용의 관건이 된다는 의미이기도 하다.

자주 묻는 질문

관련 AI 소식