트랜스포머 탄생사 정리: LSTM, 어텐션 seq2seq를 거쳐 GPT로 이어진 흐름

핵심 메시지

• 오늘날 대부분의 최신 AI 시스템은 같은 뼈대인 트랜스포머 위에 서 있지만, 그 등장은 최소 세 번의 선행 도약 위에서 가능했다.
• 순환 신경망은 긴 문장을 처리할수록 앞부분 정보의 학습 신호가 사라지는 기울기 소실 문제를 겪었고, LSTM은 게이트로 이를 완화했다.
• 인코더가 문장 전체를 벡터 하나로 압축하는 방식의 한계를 어텐션이 풀었고, 이 시기 기계 번역 품질이 눈에 띄게 좋아졌다.
• 2017년 트랜스포머는 순환 구조를 아예 버리고 어텐션만 남겨, 문장 전체를 병렬로 처리하면서 정확도까지 끌어올렸다.
• 이후 인코더만 쓰는 계열과 디코더만 쓰는 계열로 갈라졌고, 후자를 크게 키운 것이 지금 우리가 쓰는 대규모 언어모델이다.

쉽게 이해하기

챗GPT, 클로드, 제미나이, 그록 등 이름은 달라도 지금의 대표적인 AI 시스템은 거의 모두 트랜스포머라는 같은 구조 위에 서 있다. 트랜스포머는 자기 어텐션을 이용해 입력 데이터 사이의 관계를 모델링하고 번역이나 분류, 문장 생성 같은 결과를 만들어 내는 신경망이다. 2017년 구글의 논문 '어텐션 이즈 올 유 니드'가 출발점으로 알려져 있지만, 그 전에 있었던 세 번의 도약을 알아야 이 성공이 왜 '하룻밤의 성공'이 아닌지 보인다.

첫 번째 문제는 순서였다. 언어는 앞뒤 맥락에 따라 단어의 의미가 달라지는데, 입력을 하나씩 따로 처리하는 초기 신경망은 맥락을 다루지 못했다. 그래서 이전 출력을 다음 입력으로 넣는 순환 신경망이 등장했지만, 문장이 길어질수록 앞쪽 입력이 결과에 미치는 영향이 급격히 줄어드는 기울기 소실 문제가 생겼다. 1990년대에 제안된 LSTM은 무엇을 기억하고 갱신하고 잊을지 학습하는 게이트를 두어 이 문제를 완화했지만, 당시에는 대규모 학습 비용을 감당할 수 없어 진전이 멈췄다.

2010년대 초 GPU 가속과 최적화 기법, 대규모 데이터셋이 갖춰지면서 LSTM은 다시 무대 중앙으로 돌아왔고 음성 인식부터 언어 모델링까지 자연어 처리를 지배했다. 그러나 근본적인 한계가 남아 있었다. 번역처럼 문장을 문장으로 바꾸는 과제에서 인코더가 입력 전체를 고정 길이 벡터 하나로 압축하면, 길고 복잡한 문장의 의미와 어순 정보를 제대로 담지 못했다.

2014년 어텐션을 결합한 seq2seq 모델이 이 문제를 정면으로 건드렸다. 디코더가 인코더의 중간 상태들을 되돌아볼 수 있게 하자, 모델이 입력의 어느 부분과 출력의 어느 부분을 맞춰야 하는지 스스로 학습하게 됐다. 이 방식은 당시 최고 수준이던 통계 기반 번역 시스템과 정면으로 겨룰 만한 성능을 보였고, 많은 사람이 신경망 번역의 품질 향상을 실제로 체감하기 시작한 시기와 겹친다.

그럼에도 순환 구조는 토큰을 하나씩 처리해야 해서 실행 시간이 문장 길이에 비례해 늘어났다. 2017년 트랜스포머는 순환을 버리고 어텐션만 남기는 선택으로 이 벽을 넘었다. 입력을 벡터 하나로 압축하는 대신 토큰마다 표현을 유지하고, 각 토큰이 나머지 모든 토큰을 동시에 참조해 표현을 갱신한다. 덕분에 문장 전체를 병렬로 처리할 수 있어 훨씬 빨랐고, 번역 성능도 더 좋았다. 이후 인코더만 써서 가려진 단어를 맞히는 계열과 디코더만 써서 다음 토큰을 예측하는 계열로 갈라졌고, 후자를 크게 키운 결과가 오늘의 대규모 언어모델이다.

주요 인사이트

• 기술 도약은 대체로 '아이디어가 먼저, 조건은 나중'이었다. LSTM은 1990년대에 나왔지만 GPU와 대규모 데이터가 갖춰진 2010년대에야 실용성을 얻었다.
• 어텐션의 본질은 정보를 더 넣는 것이 아니라 이미 있는 정보를 버리지 않는 것이었다. 인코더의 중간 표현을 디코더가 볼 수 있게 열어 준 것만으로 성능이 크게 달라졌다.
• 트랜스포머의 결정적 이점은 정확도만이 아니라 병렬화였다. 순환을 없애자 학습이 문장 길이에 발목 잡히지 않게 됐고, 그래서 훨씬 큰 데이터로 키우는 길이 열렸다.
• 지금은 하나의 범용 모델이 당연해 보이지만, 불과 얼마 전까지는 번역용, 개체명 인식용처럼 과제마다 다른 변형을 학습시키는 것이 일반적이었다. 대화 인터페이스가 없어 프롬프트라는 개념 자체도 낯설었다.
• 영상은 자기 어텐션의 수식 자체는 다루지 않고 흐름을 설명하는 데 집중한다. 구조의 세부보다 '왜 이 방향으로 왔는가'를 이해하려는 독자에게 적합한 정리다.

자주 묻는 질문

관련 AI 소식