ERNIE와 KnowBERT 비교: 언어모델에 지식 그래프를 결합하는 방법과 한계

핵심 메시지

• 언어모델의 지식은 수많은 파라미터에 흩어져 있어 특정 사실만 골라 고치기 어렵지만, 지식 그래프는 트리플을 직접 바꾸거나 유효 기간을 관리할 수 있다.
• ERNIE는 외부 도구로 미리 연결한 엔티티 임베딩을 K-인코더에서 텍스트 표현과 결합하고, 일부러 틀린 연결을 복원하게 하는 dEA 과제로 모델이 주입된 지식을 실제로 쓰도록 유도한다.
• KnowBERT는 어떤 엔티티인지 고르는 과정 자체를 모델 안으로 가져와, BERT 중간 계층에 끼운 KAR 모듈이 문맥을 보고 후보를 선택한 뒤 그 지식을 문장 전체로 퍼뜨린다.
• ERNIE는 관계 분류에서 F1 84.89를 88.32로 끌어올렸고 GLUE 성능은 BERT와 비슷해, 지식을 넣어도 일반 언어 능력이 훼손되지 않음을 보였다.
• 두 모델 모두 엔티티 임베딩을 고정해 쓰기 때문에 지식 그래프의 사실이 바뀌어도 모델 내부 지식은 자동으로 갱신되지 않는다는 공통 한계가 있다.

쉽게 이해하기

BERT나 GPT 같은 사전학습 언어모델은 대규모 텍스트에서 문맥과 문법, 어휘 패턴을 매우 잘 학습한다. 하지만 문장 속 표현을 현실 세계의 특정 대상에 명시적으로 연결하거나, 개별 사실을 안정적으로 기억하는 데에는 한계가 있다. 이 빈틈을 메우는 대표적인 외부 지식 구조가 사람·장소·작품 같은 개체와 그 관계를 트리플로 저장하는 지식 그래프다.

두 체계는 지식을 다루는 방식이 근본적으로 다르다. 언어모델의 지식은 수많은 파라미터에 분산되어 있어 특정 사실만 찾아 수정하기 어려운 반면, 지식 그래프는 무엇이 저장되어 있는지 확인하고 갱신하기 쉽다. 발표에서 든 예가 직관적이다. '밥 딜런이 「블로잉 인 더 윈드」를 썼다'와 '밥 딜런이 「크로니클스 1권」을 썼다'는 두 문장을 모델은 똑같이 '무언가를 썼다'는 구조로 받아들이지만, 지식 그래프를 붙이면 하나는 노래이고 하나는 책이라는 정보를 얻어 그가 작곡가이자 작가임을 구분할 수 있다.

첫 번째 방법인 ERNIE는 텍스트를 읽는 T-인코더와 지식을 결합하는 K-인코더로 나뉜다. BERT를 대체하는 대신 그 위에 지식 계층을 한 겹 더 쌓는 구조로, 문장을 서브워드로 쪼갠 뒤 개체가 등장한 첫 토큰 위치에 TransE로 사전학습한 엔티티 임베딩을 정렬해 결합한다. 핵심 장치는 dEA라는 사전학습 과제인데, 일부 개체를 다른 것으로 바꾸거나 가린 뒤 원래 연결을 복원하게 만들어 모델이 자동 연결을 맹신하지 않고 문맥과 지식을 함께 쓰도록 훈련한다. 영어 위키백과와 위키데이터에서 약 504만 개체와 2,427만 트리플을 사용했고, 두 요소 중 하나만 쓴 실험에서는 효과가 제한적이어서 지식 주입과 그것을 쓰게 만드는 학습 목표가 함께 필요하다는 점이 확인됐다.

두 번째 방법인 KnowBERT는 연결 과정 자체를 모델 안으로 들여온다. BERT 중간 표현을 받아 개체 후보 구간을 만들고, 후보끼리 어텐션을 주고받게 한 뒤 문맥 적합도와 사전 확률을 함께 계산해 후보를 고른다. 선택된 후보의 임베딩을 가중 평균해 해당 구간에 더하고, 문장의 모든 워드피스가 이 지식 강화 구간을 참조하게 만들어 지식이 특정 위치에 머무르지 않고 문장 전체로 퍼지게 한다. 위키백과와 워드넷을 함께 쓴 모델이 사실 회상에서 가장 좋은 결과를 냈지만, 엔티티 연결 성능 자체는 그 작업만을 위한 전용 모델에는 미치지 못했다.

발표는 두 접근의 공통 한계로 마무리된다. 둘 다 사전학습된 엔티티 임베딩을 고정해 쓰기 때문에 지식 그래프의 사실이 바뀌어도 모델 내부 지식은 그대로이고, 잘못 연결된 개체는 잘못된 지식을 그대로 들여온다. 결국 지식 베이스의 정확성·일관성·범위가 성능의 상한선이 되며, 대규모 임베딩은 메모리 부담도 크다. 이 때문에 이후 연구는 지식을 파라미터에 고정하기보다 추론 시점에 외부 지식 그래프를 검색해 연결하는 그래프 RAG 방향으로 옮겨간다.

주요 인사이트

• 지식 주입은 벡터를 덧붙이는 문제가 아니라 '무엇을 연결할지'와 '연결한 정보를 어떻게 쓰게 만들지'라는 두 문제로 갈린다. ERNIE는 후자를 dEA라는 학습 목표로 풀었다.
• 엔티티 연결을 외부 도구에 맡길지 모델 안에서 학습할지가 두 모델의 가장 큰 구조적 차이이며, 내부화한 KnowBERT는 범용성을 얻은 대신 연결 전용 모델보다 링킹 정확도가 낮아지는 대가를 치렀다.
• 지식 그래프를 붙여도 GLUE 성능이 BERT와 비슷했다는 점은, 외부 지식 추가가 기존 언어 능력을 갉아먹는 제로섬 거래가 아님을 보여준다.
• 고정된 엔티티 임베딩은 지식을 모델 안에 '박제'하는 방식이라 사실이 바뀌면 재학습이 필요하다. 최근 검색 기반 접근이 각광받는 이유가 여기에 있다.
• 모델 성능의 상한선은 결국 온톨로지와 지식 그래프의 품질이 정한다. 지식 베이스에 없는 개체와 관계는 아무리 좋은 구조로도 활용할 수 없다.

자주 묻는 질문

관련 AI 소식