어텐션 쉬운 설명: 인코더-디코더의 한계를 푼 신경망 Attention 원리

핵심 메시지

• 기본 인코더-디코더는 입력 문장 전체를 하나의 문맥 벡터로 압축해, 긴 문장에서 앞부분 단어를 잊는 한계가 있다.
• 어텐션의 핵심 아이디어는 입력 값마다 인코더에서 디코더로 가는 경로를 새로 추가해, 디코딩 각 단계가 입력을 직접 참조하게 하는 것이다.
• 인코더와 디코더 출력의 유사도를 코사인 유사도, 더 흔하게는 내적(점곱)으로 계산한다.
• 유사도 점수를 소프트맥스에 통과시켜 각 입력 단어를 얼마나 반영할지 비율로 정하고, 그 가중합이 어텐션 값이 된다.
• 어텐션이 있으면 LSTM이 없어도 되며, 이는 트랜스포머로 나아가는 디딤돌이다.

쉽게 이해하기

조시 스타머의 StatQuest가 신경망의 ‘어텐션(Attention)’을 특유의 방식으로 차근차근 설명했다. 이야기는 기본 인코더-디코더 모델의 한계에서 출발한다. 이 모델은 LSTM을 펼치며 입력 문장 전체를 하나의 문맥 벡터로 압축하는데, ‘Let’s go’ 같은 짧은 구절에는 잘 동작하지만 문장이 길어지면 초반에 들어온 단어가 잊히기 쉽다.

예로 ‘don’t eat the delicious looking and smelling pizza’에서 맨 앞의 ‘don’t’를 잊으면 ‘먹지 마라’가 ‘먹어라’로, 정반대 의미가 되어 버린다. LSTM이 장기·단기 기억 경로를 나눠 문제를 완화하지만, 데이터가 많아지면 두 경로 모두 과부하가 걸려 앞쪽 단어가 여전히 사라질 수 있다.

어텐션의 핵심 아이디어는 간단하다. 입력 값마다 인코더에서 디코더로 향하는 경로를 새로 추가해, 디코딩의 매 단계가 개별 입력 인코딩에 직접 접근하게 하는 것이다. 구체적으로는 먼저 인코더의 각 단계 출력(은닉 상태)과 디코더의 출력이 얼마나 비슷한지 유사도 점수를 구한다. 유사도는 코사인 유사도로 잴 수 있지만, 실무에서는 분모(크기 정규화)를 떼고 분자만 쓰는 내적(점곱)이 계산이 쉬워 더 흔하다.

이 점수들을 소프트맥스에 통과시키면 0과 1 사이에서 합이 1이 되는 값이 나오고, 이는 각 입력 단어를 몇 퍼센트씩 반영할지를 뜻한다. 예컨대 첫 단어를 40%, 둘째 단어를 60% 반영하도록 인코딩을 가중해 더하면, 그 결과가 해당 디코딩 단계의 ‘어텐션 값’이 된다. 이 어텐션 값과 현재 디코더 인코딩을 완전연결층에 넣고 소프트맥스로 다음 출력 단어(예: ‘vamos’)를 고른다.

정리하면, 어텐션을 더해도 인코더는 거의 그대로지만 디코더의 각 단계가 입력 단어별 인코딩에 직접 접근할 수 있게 된다. 흥미롭게도 어텐션이 있으면 더는 LSTM이 필요하지 않은데, 스타머는 이 점을 트랜스포머 편에서 더 다루겠다고 예고한다. 이 강의 자체가 대형 언어모델의 바탕인 트랜스포머로 가는 디딤돌인 셈이다.

주요 인사이트

• 어텐션은 ‘하나의 문맥 벡터에 모든 것을 담는’ 병목을, 입력마다 별도 경로를 열어 디코더가 직접 참조하게 함으로써 해소한다.
• 유사도 계산에서 코사인 유사도의 분모는 크기를 −1~1로 정규화하지만, 같은 수의 셀을 쓰면 분자(내적)만으로도 충분해 계산을 아낄 수 있다.
• 소프트맥스 출력은 각 입력 단어를 얼마나 쓸지에 대한 ‘비율’로 해석할 수 있어, 어텐션을 직관적으로 이해하는 열쇠가 된다.
• 어텐션이 도입되면 순환 구조(LSTM) 없이도 문맥을 다룰 수 있게 되며, 이것이 트랜스포머로 이어지는 결정적 전환점이다.
• 어텐션을 모델에 붙이는 방식에는 정해진 규칙이 없고 논문마다 세부가 다르지만, ‘입력마다 경로를 추가한다’는 큰 아이디어는 공통이다.

자주 묻는 질문

관련 AI 소식