MIT 6.S191 강의 정리: RNN·어텐션·트랜스포머가 시퀀스를 다루는 원리

핵심 메시지

• 시퀀스 모델링은 시간 순서가 있는 데이터를 다루는 일반적 패러다임으로, 오늘날 대규모 언어 모델의 바탕이 된다.
• RNN은 내부 상태(h_t)를 시간 단계마다 갱신하며 과거 정보를 이어받는 '순환' 구조로 시퀀스를 처리한다.
• RNN 학습은 '시간에 따른 역전파(BPTT)'로 이뤄지며, 기울기 폭발·소실 문제 때문에 긴 의존관계를 다루기 어렵다.
• 어텐션은 순환을 없애고, 쿼리·키·값으로 입력에서 중요한 부분을 골라내어 병렬 처리와 장기 기억을 가능하게 한다.
• 어텐션은 트랜스포머의 핵심 연산이며 GPT·BERT의 'T'가 바로 트랜스포머를 뜻한다.

쉽게 이해하기

MIT 6.S191의 두 번째 강의에서 강연자 에이바 아미니는 '시퀀스 모델링'을 다룬다. 공이 다음에 어디로 갈지 예측하는 예시로 시작하는데, 현재 위치만으로는 추측에 그치지만 과거 궤적을 함께 주면 예측이 훨씬 쉬워진다. 시간에 따라 펼쳐지는 데이터를 다루는 것이 시퀀스 모델링의 핵심이라는 직관을 세운다.

이런 데이터는 음성 파형, 텍스트, 의료·금융 시계열, 생물학적 서열, 날씨 등 우리 주변에 가득하다. 과제도 다양해서, 문장에 감정을 붙이는 다대일, 이미지를 설명하는 캡셔닝의 일대다, 언어 번역 같은 다대다 형태로 나뉜다. 강의는 이 과제들을 신경망으로 어떻게 풀지 하나씩 쌓아 올린다.

RNN(순환 신경망)의 핵심은 내부 상태 h_t다. 매 시간 단계마다 입력과 직전 상태를 함께 받아 상태를 갱신하고, 같은 가중치를 모든 단계에서 재사용한다. 이렇게 '기억'을 이어받아 다음 단어를 예측하는 방식이 오늘날 언어 모델의 기초가 된 다음 단어 예측 문제와 맞닿아 있다.

학습은 각 시간 단계의 손실을 합산한 뒤, 현재 시점에서 시퀀스의 처음까지 오차를 거슬러 보내는 '시간에 따른 역전파(BPTT)'로 한다. 그러나 같은 가중치 행렬을 반복해서 곱하다 보면 값이 커져 폭발하거나(기울기 폭발) 작아져 사라지는(기울기 소실) 문제가 생긴다. 기울기 클리핑 같은 기법과, 슈미트후버 팀이 제안한 LSTM 같은 구조가 이를 완화한다.

강의는 시퀀스 모델의 설계 요건(수치화·가변 길이·장기 의존·순서 보존)을 짚은 뒤 RNN의 한계로 넘어간다. 내부 상태라는 '인코딩 병목', 단계별 처리로 인한 병렬화의 어려움, 긴 의존관계의 기억 문제다. 그 대안으로 등장한 것이 어텐션이다. 유튜브 검색에 비유하면, 질의(쿼리)와 각 영상의 제목(키)의 유사도를 계산해 관련 영상(값)을 끌어오는 것과 같다. 내적으로 유사도를 구하고 스케일링·소프트맥스를 거쳐 어텐션 가중치를 만든 뒤 값과 곱해 중요한 특징을 뽑아낸다. 이 셀프 어텐션이 트랜스포머의 뼈대이며, 병렬화가 쉽고 여러 헤드를 쌓아 다양한 관계를 학습할 수 있다.

주요 인사이트

• RNN을 관통하는 하나의 아이디어는 '내부 상태를 시간마다 갱신해 과거를 현재로 나른다'는 것으로, 이 직관만 잡으면 나머지 수식이 따라온다.
• 기울기 소실은 단순한 수학적 골칫거리가 아니라, RNN이 '긴 문맥'을 기억하지 못하게 만드는 실제 한계로 이어진다.
• 언어 데이터를 다루려면 먼저 토큰화·임베딩으로 의미까지 담은 수치 표현으로 바꿔야 한다는 점이 모든 신경망의 공통 전제다.
• 어텐션의 본질은 '검색'에 가깝다. 쿼리·키·값이라는 세 갈래 변환으로 입력 안에서 무엇에 주목할지 스스로 학습한다.
• 어텐션은 병렬화가 쉬워 긴 입력에 강하고, 자연어를 넘어 단백질·DNA 같은 생물학 서열과 비전 트랜스포머로도 확장됐다.

자주 묻는 질문

관련 AI 소식