인코더 전용 트랜스포머(BERT)와 RAG 원리: 문맥 인식 임베딩 쉽게 이해하기

핵심 메시지

• 2017년 첫 트랜스포머는 인코더와 디코더가 결합된 번역용 모델이었지만, 곧 두 부분이 각각 독립적으로도 잘 작동한다는 사실이 밝혀졌다.
• 디코더 전용 트랜스포머는 챗GPT의 기반이 되었고, 인코더 전용 트랜스포머는 BERT의 기반이 되었다.
• 인코더 전용 트랜스포머는 워드 임베딩, 위치 인코딩, 셀프 어텐션 세 층을 결합해 '문맥 인식 임베딩'을 만든다.
• 문맥 인식 임베딩은 비슷한 문장·문서를 군집화할 수 있어, 검색 증강 생성(RAG)의 핵심 기반이 된다.
• 챗GPT 같은 디코더 전용 모델이 주목을 독차지하지만, 인코더 전용 모델의 임베딩은 분류 등 다양한 작업에서 여전히 강력하다.

쉽게 이해하기

영상은 2017년 등장한 최초의 트랜스포머가 인코더와 디코더가 연결된 형태였고, 한 언어를 다른 언어로 번역하는 seq2seq(인코더-디코더) 모델이었다고 설명한다. 발표 직후 사람들은 두 부분이 각각 따로 떼어내도 잘 작동한다는 것을 알아냈고, 디코더만 쓰는 '디코더 전용 트랜스포머'는 챗GPT의 기반이, 인코더만 쓰는 '인코더 전용 트랜스포머'는 BERT를 비롯한 여러 모델의 기반이 되었다.

인코더 전용 트랜스포머의 첫 단계는 워드 임베딩이다. 토큰(단어·부분 단어·기호)을 숫자로 바꾸는데, 비슷한 맥락에서 쓰이는 단어에 비슷한 숫자를 주도록 간단한 신경망을 학습시킨다. 예컨대 'great'와 'awesome'은 학습 전에는 무관한 값이지만, 같은 문맥에서 다음 단어를 예측하도록 훈련하면 임베딩이 서로 가까워져 함께 군집한다. 또 한 단어에 여러 숫자를 부여해 긍정적 의미와 반어적(부정적) 의미 같은 서로 다른 문맥을 함께 담을 수 있다.

두 번째 층은 위치 인코딩으로, 단어의 순서를 추적한다. 'Squatch eats pizza'와 'pizza eats Squatch'는 같은 단어를 쓰지만 뜻이 정반대이므로 순서 정보가 중요하다. 세 번째 층인 셀프 어텐션은 문장 안에서 각 단어가 다른 모든 단어(자기 자신 포함)와 얼마나 관련 있는지 계산해 관계를 파악한다. 예를 들어 'it'이 'pizza'를 가리키는지 'oven'을 가리키는지를, 학습 데이터에서의 연관성을 근거로 판단한다.

이 세 층을 결합하면 각 토큰에 대해 위치와 단어 간 관계까지 반영한 새로운 임베딩, 곧 '문맥 인식 임베딩(context-aware embedding)'이 만들어진다. 일반 워드 임베딩이 비슷한 단어를 묶어 주듯, 문맥 인식 임베딩은 비슷한 문장이나 문서를 군집화할 수 있다.

바로 이 군집화 능력이 검색 증강 생성(RAG)의 토대다. RAG는 문서를 텍스트 블록으로 나눈 뒤 인코더 전용 트랜스포머로 각 블록의 문맥 인식 임베딩을 만들고, 사용자가 'what is pizza' 같은 프롬프트를 주면 그 프롬프트의 임베딩과 가장 유사한 블록을 찾아낸다. 또한 문맥 인식 임베딩은 감성 분류용 신경망의 입력이나 로지스틱 회귀의 변수로 활용해 분류 작업에도 쓸 수 있다.

주요 인사이트

• 생성형 모델(디코더 전용)의 화려함에 가려져 있지만, 검색·분류·군집화의 실무는 여전히 인코더 전용 임베딩이 담당한다.
• 트랜스포머의 힘은 결국 워드 임베딩·위치 인코딩·셀프 어텐션이라는 세 요소가 결합해 '문맥'을 숫자로 담아내는 데서 나온다.
• RAG의 검색 품질은 문서를 얼마나 좋은 문맥 인식 임베딩으로 표현하느냐에 달려 있으며, 이 임베딩을 만드는 것이 인코더 전용 트랜스포머의 역할이다.
• 같은 문맥 인식 임베딩을 입력으로 삼아 감성 분석 같은 하위 분류 모델을 붙일 수 있어, 인코더 전용 모델은 범용 표현 추출기로 재사용된다.

자주 묻는 질문

관련 AI 소식