그래프 언어모델 원리 정리: 지식 그래프를 언어모델에 그대로 읽히는 상대 위치 인코딩

핵심 메시지

• 지식 그래프는 노드와 간선 모두에 텍스트가 붙어 있어 언어모델로 다루고 싶지만, 언어모델은 구조가 있는 그래프를 그대로 받지 못한다.
• 그래프를 문장처럼 한 줄로 펼치면 언어 이해는 되지만 구조 정보가 흐려지고, 그래프 신경망을 쓰면 구조는 살지만 언어 이해력이 사라진다.
• 연구진은 사전학습된 언어모델의 가중치를 그래프 트랜스포머 구조에 그대로 옮겨 담아 두 능력을 하나의 모델에 합쳤다.
• 핵심 장치는 상대 위치 인코딩이다. 한 삼중항 안에서는 문장처럼 거리를 재고, 삼중항을 건너뛰는 관계에는 별도의 거리 유형을 새로 정의한다.
• 관계 분류 실험에서 그래프가 크거나 구조가 중요한 경우일수록 이 방식이 그래프를 펼쳐 넣는 기존 방법보다 나은 성적을 냈다.

쉽게 이해하기

발표에서 다루는 문제는 간단하다. '검은 푸들은 개다' 같은 삼중항으로 이뤄진 지식 그래프에서는 노드와 간선이 모두 자연스러운 문장 조각이므로 언어모델을 쓰고 싶어진다. 하지만 트랜스포머는 순서가 있는 토큰 열을 전제로 하기 때문에, 가지가 갈라지는 그래프를 그대로 넣을 수 없다.

지금까지의 우회로는 두 가지였다. 하나는 삼중항을 차례로 이어 붙여 한 줄로 만드는 선형화인데, 텍스트 처리는 잘 되지만 어느 노드가 어디에 연결됐는지가 흐려진다. 다른 하나는 언어모델로 노드와 간선의 텍스트를 먼저 인코딩한 뒤 그래프 신경망을 얹는 방식인데, 이번에는 그래프 추론은 되지만 언어 이해가 중간에 사라진다.

제안된 그래프 언어모델은 두 선택지를 합친다. 사전학습으로 잘 다듬어진 언어모델의 매개변수를 가져와, 그래프 추론에 유리한 귀납적 편향을 가진 그래프 트랜스포머 구조에 넣는다. 반대로 말하면 그래프 트랜스포머를 언어모델 가중치로 초기화한 것이며, 조건은 사전학습 때 상대 위치 임베딩이나 회전 위치 인코딩을 썼어야 한다는 점뿐이다.

구현의 핵심은 토큰 사이 거리를 다시 정의하는 데 있다. 보통의 문장에서는 '개'가 '고양이'보다 세 칸 앞이라는 식으로 상대 거리 행렬을 만든다. 같은 삼중항 안의 토큰들에는 이 방식을 그대로 쓰고, 서로 다른 가지에 놓여 이어 읽으면 문장이 되지 않는 토큰 쌍에는 '그래프 대 그래프'라는 새 거리 유형을 부여하거나 아예 연결을 끊는다. 연결을 끊어도 그래프 신경망처럼 메시지 전달을 통해 영향은 전해진다.

평가는 그래프의 관계 하나를 가린 뒤 맞히는 관계 분류로 이뤄졌다. T5 인코더의 가중치를 옮겨 담고 분류기만 학습시킨 선형 탐침 설정에서도 선형화 기법을 앞섰고, 특히 그래프가 크거나 주변 개념을 가려 구조가 중요해질수록 격차가 벌어졌다. 전체를 미세조정하면 반지름 3 이하의 작은 그래프에서는 기존 언어모델 방식이 낫지만 큰 그래프에서는 다시 앞섰다. 그래프와 별도 텍스트를 함께 넣을 수 있도록 '그래프 대 텍스트' 거리 유형을 추가한 실험에서는 두 입력을 모두 줄 때 성능이 가장 좋았고, 어느 한쪽을 지우면 비슷한 폭으로 떨어졌다.

주요 인사이트

• 새 구조를 처음부터 학습시키는 대신 기존 언어모델의 가중치를 다른 구조에 옮겨 담는 접근이 흥미롭다. 학습에 쓴 적 없는 형태의 입력에도 사전학습된 언어 지식이 상당 부분 이어진다는 뜻이다.
• 트랜스포머에서 구조를 표현하는 통로가 위치 인코딩이라는 점을 역이용한 사례다. 토큰 사이 거리 정의만 바꿔도 순서 열이 아닌 그래프를 표현할 수 있다.
• 한 토큰이 왼쪽 이웃을 둘 이상 가질 수 있다는 설정은 일반 문장에서는 나올 수 없다. 이 어긋남이 곧 그래프 구조를 담아내는 자리다.
• 작은 그래프에서는 기존 방식이 더 나았다는 결과를 발표자가 그대로 밝힌 점은 신뢰할 만하다. 구조가 복잡해질수록 효과가 커지는 방법이라는 조건이 분명해진다.
• 그래프와 텍스트를 한 모델에 함께 넣고 어느 쪽에 얼마나 주목할지 학습시키는 구성은, 문서와 지식베이스를 같이 쓰는 검색 시스템에도 시사점을 준다.

자주 묻는 질문

관련 AI 소식