어텐션 메커니즘이란? 트랜스포머와 LLM의 핵심 원리를 인코더-디코더 번역 과정으로 쉽게 이해하기

핵심 메시지

• 어텐션은 신경망이 입력 문장에서 더 중요한 단어에 집중하도록 각 부분에 가중치를 부여하는 기술이다.
• 전통적인 RNN 인코더-디코더는 마지막 은닉 상태 하나만 디코더에 넘겨 긴 문맥 정보를 잃기 쉬웠다.
• 어텐션 모델은 모든 시간 단계의 은닉 상태를 디코더에 전달해 훨씬 풍부한 문맥을 활용한다.
• 디코더는 은닉 상태마다 점수를 매기고 소프트맥스로 가중합해 관련성 높은 단어를 부각한다.
• 이 방식은 원문과 번역문에서 단어 순서가 어긋나는 문제를 완화해 번역 성능을 끌어올린다.

쉽게 이해하기

구글 클라우드의 머신러닝 엔지니어가 생성형 AI의 바탕이 되는 개념으로 어텐션 메커니즘을 소개한다. 어텐션은 오늘날 모든 트랜스포머 모델과 대규모 언어 모델(LLM)의 핵심에 자리한 기술이다.

예시로 영어 문장을 프랑스어로 번역하는 상황을 든다. 인코더-디코더 모델은 한 번에 한 단어씩 번역하지만, 원문의 단어 순서와 번역문의 단어 순서가 항상 일치하지는 않는다. 이때 모델이 엉뚱한 단어가 아니라 실제로 대응되는 단어에 집중하게 만드는 것이 과제가 된다.

전통적인 RNN 기반 인코더-디코더는 입력을 한 단어씩 받아 은닉 상태를 갱신하고 다음 단계로 넘기며, 최종적으로 마지막 은닉 상태만 디코더에 전달한다. 어텐션 모델은 두 가지 점에서 다르다. 첫째, 각 시간 단계의 모든 은닉 상태를 디코더에 넘겨 더 많은 문맥을 제공한다. 둘째, 디코더가 출력을 만들기 전에 별도의 계산 단계를 거친다.

그 단계에서 디코더는 받은 은닉 상태들을 살펴 각각에 점수를 매기고, 소프트맥스 점수를 곱해 점수가 높은 은닉 상태는 키우고 낮은 것은 줄인다. 이렇게 얻은 가중합을 컨텍스트 벡터로 만들어 해당 시간 단계의 디코더 상태와 연결하고, 함께 학습된 피드포워드 신경망에 통과시켜 다음 단어를 예측한다.

주요 인사이트

• 어텐션의 본질은 '어디에 집중할지'를 학습 가능한 가중치로 표현하는 것이다.
• 마지막 은닉 상태 하나에 모든 문맥을 압축하던 병목을, 모든 은닉 상태를 넘기는 방식으로 해소한다.
• 소프트맥스로 정규화된 가중치가 관련 단어는 증폭하고 무관한 단어는 억제한다.
• 컨텍스트 벡터와 디코더 상태를 연결해 피드포워드 신경망이 다음 단어를 예측하는 구조가 어텐션의 한 단위다.

자주 묻는 질문

관련 AI 소식