K-BERT와 KEPLER 비교: 지식 그래프를 입력 문장에 넣을 것인가, 사전 학습 목적 함수에 녹일 것인가

핵심 메시지

• K-BERT는 지식 그래프에서 꺼낸 트리플을 입력 문장 안에 그대로 끼워 넣어, 별도의 재사전학습 없이 기존 BERT 파라미터를 그대로 쓰면서 도메인 지식을 보탠다.
• 지식을 많이 넣을수록 원문 의미가 흐려지는 지식 노이즈 문제를 막기 위해 K-BERT는 소프트 포지션 임베딩과 비저블 매트릭스라는 두 장치를 함께 쓴다.
• KEPLER는 입력이나 트랜스포머 구조를 건드리지 않고, 지식 임베딩 목적 함수와 마스크드 언어 모델링 목적 함수를 하나의 인코더에서 동시에 최적화한다.
• KEPLER는 엔티티를 고정된 ID 벡터가 아니라 텍스트 설명에서 인코딩하기 때문에, 학습 때 본 적 없는 엔티티도 설명문만 있으면 임베딩을 만들어낼 수 있다.
• 실험에서 지식 그래프의 크기보다 과제와 지식원의 궁합이 더 중요했고, 두 목적 함수를 함께 학습해야 언어 이해 능력과 사실 지식이 둘 다 유지됐다.

쉽게 이해하기

서울대학교 산업공학과 DSBA 연구실이 진행하는 온톨로지·지식 그래프 스터디의 20번째 세션으로, 석사과정 차수빈 발표자가 언어 모델과 지식 그래프를 결합하는 두 번째 주제인 구조 통합과 공동 학습을 다뤘다. 앞선 회차에서 살펴본 ERNIE와 KnowBERT 계열은 따로 학습해 둔 엔티티 임베딩을 텍스트 표현에 융합하는 방식이었는데, 엔티티 링커가 필요하고 언어 표현 공간과 엔티티 임베딩 공간이 따로 학습된다는 문제가 남는다. 이번 세션의 질문은 그래서 명확하다. 별도로 학습한 엔티티 임베딩 테이블 없이도 지식 그래프의 지식을 언어 모델에 넣을 수 있을까.

첫 번째 답은 2020년 AAAI에 발표된 K-BERT다. 이 모델은 입력 문장에 등장하는 개체에 대해 지식 그래프에서 관련 트리플을 찾아 문장 안에 직접 끼워 넣는다. 예컨대 파라세타몰이 감기를 치료한다는 의학적 관계는 일반 말뭉치만으로 학습하기 어렵지만, 트리플을 문장에 붙여 주면 금융·법률·의료처럼 전문 지식이 중요한 과제에서 사전 학습 데이터와 실제 도메인 사이의 간극을 메울 수 있다. 문제는 지식을 넣을수록 원래 문장의 뜻이 훼손될 수 있다는 점인데, 논문은 이를 지식 노이즈라 부른다.

K-BERT는 이 문제를 두 장치로 통제한다. 삽입 과정에서 흐트러진 어순은 소프트 포지션 임베딩으로 원문의 위치 구조를 보존하고, 비저블 매트릭스로는 어떤 토큰이 어떤 토큰을 볼 수 있는지를 제한해 무관한 지식끼리 영향을 주지 못하게 막는다. 어블레이션 실험에서 둘 중 하나만 빼도 성능이 떨어졌고, 특히 비저블 매트릭스를 제거한 모델은 구간에 따라 원본 BERT보다도 낮은 점수를 냈다. 외부 지식을 넣는 것 자체가 언제나 이득은 아니라는 지식 노이즈 가설을 뒷받침하는 결과다.

성능 향상은 도메인 특화 과제에서 뚜렷했다. 금융·법률 질의응답과 금융 개체명 인식, 의료 개체명 인식에서 대체로 1~2%p 수준의 F1 향상이 관찰됐고, 의료 과제에서는 1만 3864개 트리플에 불과한 의료 전용 지식 그래프가 훨씬 큰 백과사전형 지식 그래프보다 좋은 결과를 냈다. 지식 그래프의 절대적 크기보다 과제에 직접 필요한 지식이 들어 있는지가 더 중요하다는 뜻이다. 다만 발표자는 특정 데이터셋과 지식 그래프 조합에서 얻은 결과인 만큼, 일반화보다는 과제와 지식원의 적합성 문제로 이해하는 편이 낫다고 덧붙였다.

두 번째 답은 2021년 TACL에 실린 KEPLER다. 이 모델은 입력이나 구조를 건드리지 않고 사전 학습 단계에서 지식 임베딩 목적 함수와 마스크드 언어 모델링 목적 함수를 하나의 인코더로 함께 최적화하며, 엔티티는 ID 벡터가 아니라 위키백과 설명문을 인코딩해 표현한다. 저자들은 이를 위해 약 459만 개 엔티티와 822개 관계, 2천만 개 규모의 트리플에 더해 학습 때 보지 못한 엔티티로 평가하는 인덕티브 분할까지 갖춘 데이터셋을 새로 구축했다. 같은 말뭉치로 마스크드 언어 모델링만 학습한 대조 모델이 관계 분류에서 F1 70.2를 낸 반면 KEPLER는 72.0으로 올랐고, 개체 유형 분류에서는 F1 76.2로 비교 모델 중 가장 높았다. 반대로 언어 모델링을 빼고 지식 임베딩만 학습한 변형은 엔티티 이름을 가린 채 문맥만 남긴 설정에서 점수가 크게 떨어져, 두 목적 함수가 함께 있어야 한다는 점이 확인됐다.

주요 인사이트

• 두 논문의 차이는 '지식을 어디에, 언제 넣는가'로 요약된다. K-BERT는 파인튜닝과 추론의 입력 단계에서, KEPLER는 사전 학습의 손실 함수 단계에서 지식을 넣는다. 운영 관점에서 보면 전자는 지식 그래프를 항상 곁에 둬야 하고, 후자는 한 번 학습해 두면 추론이 가볍다.
• 의료 과제에서 작은 전용 지식 그래프가 큰 백과사전형 그래프를 이겼다는 결과는, 지식 주입을 준비하는 팀이 데이터 규모 경쟁보다 과제에 필요한 관계가 실제로 담겨 있는지부터 점검해야 한다는 실무적 시사점을 준다.
• KEPLER가 엔티티 설명문에서 임베딩을 만든다는 설계는 곧 콜드 스타트 대응이다. 새 엔티티가 계속 늘어나는 서비스에서는 ID 기반 임베딩 테이블을 다시 학습하는 대신 설명문만 붙이면 되는 구조가 훨씬 현실적이다.
• 지식 임베딩만 학습했을 때 문맥 이해가 무너진 결과는, 특정 능력을 주입하려다 기존 능력을 잃는 전형적인 사례다. 두 목적 함수를 함께 유지해야 한다는 결론은 오늘날의 파인튜닝 설계에도 그대로 적용된다.
• 발표자는 두 논문 모두 엔티티-관계-엔티티 형태의 트리플과 설명문에 기대고 있어, 클래스 계층이나 논리적 제약, 공리처럼 온톨로지가 제공할 수 있는 풍부한 표현은 학습 대상으로 다뤄지지 않는다는 한계를 지적했다.

자주 묻는 질문

관련 AI 소식