RGCN·CompGCN으로 배우는 지식그래프 표현학습 - 서울대 DSBA 세미나 정리

핵심 메시지

• 일반 그래프와 달리 지식그래프는 노드 사이의 관계에 유형과 방향이 있어, 이를 무시하면 서로 다른 이웃 정보가 똑같은 방식으로 뭉뚱그려진다.
• RGCN은 관계 유형과 방향마다 다른 변환 행렬을 써서 메시지를 만들고, 자기 자신을 다시 더하는 셀프 루프로 층이 깊어질수록 표현이 균일해지는 오버스무딩 문제를 완화한다.
• 관계 수만큼 행렬을 두면 파라미터가 폭증하므로, RGCN은 소수의 기저(basis) 조합과 블록 대각 분해로 파라미터를 공유해 효율을 높인다.
• CompGCN은 관계마다 행렬을 두는 대신 관계 자체를 임베딩 벡터로 학습하고, 노드 임베딩과 합성 연산자로 결합해 노드와 관계를 함께 갱신한다.
• 두 모델의 핵심 차이는 성능 수치보다 '관계의 의미를 어디에 저장하고 어떻게 표현하는가'에 있다.

쉽게 이해하기

서울대학교 산업공학과 DSBA 연구실의 온톨로지·지식그래프 스터디 4주차 두 번째 파트에서, 박사과정 허재혁 연구원이 그래프 신경망 기반의 지식그래프 표현 학습을 설명했다. 발표는 2018년 논문 RGCN과 2020년 ICLR에 발표된 CompGCN을 차례로 다루며, 두 방법이 '관계'라는 정보를 어떻게 신경망 안으로 끌어들이는지에 초점을 맞춘다.

지식그래프는 단순히 노드가 연결되어 있다는 사실만 담는 일반 그래프와 다르다. 머리(head)와 꼬리(tail) 사이에 어떤 관계가 있는지가 정의되어 있고, 그 관계에는 방향과 유형이 따라붙는다. 발표에서 다루는 과제도 이 구조를 전제로 한다. 노드가 어떤 타입인지 맞히는 엔티티 분류, 그리고 관측되지 않은 (머리, 관계, 꼬리) 트리플이 성립하는지 판별하는 링크 예측이다.

기존 그래프 합성곱 신경망은 모든 이웃 노드에 같은 파라미터를 적용했다. 발표자는 이렇게 하면 관계가 지닌 의미가 사라진다고 지적한다. RGCN은 관계 유형별로, 그리고 정방향인지 역방향인지에 따라 서로 다른 변환을 적용해 메시지를 만든다. 여기에 자기 자신의 표현을 다시 더하는 셀프 루프를 두어, 층을 거듭할수록 모든 노드의 특징이 비슷해지는 오버스무딩을 누그러뜨린다.

문제는 비용이다. 관계 유형이 늘어날수록 관계별 행렬을 모두 두는 것은 비효율적이다. RGCN은 소수의 공유 기저 행렬을 두고 그 선형 결합으로 각 관계의 변환을 만드는 기저 분해, 그리고 행렬을 블록 단위로 제한해 블록 안에서만 상호작용하게 하는 블록 대각 분해를 제안한다. 발표자는 블록 분해의 경우 블록 밖 상호작용이 끊기기 때문에 희소한 관계는 여전히 학습이 잘 되지 않는 한계가 남는다고 덧붙였다.

CompGCN은 여기서 한 걸음 더 나간다. 관계마다 변환 행렬을 두는 대신 관계 자체의 임베딩 벡터를 학습하고, 노드 임베딩과 합성 연산자로 결합해 메시지를 만든다. 발표에서 소개한 연산자는 뺄셈, 곱셈, 순환 상관 세 가지이며, 각각 서로 다른 귀납적 편향에 대응한다. 발표자는 어떤 연산자가 좋은지는 결국 어떤 디코더를 쓰느냐에 달려 있어, 조합마다 실험해 봐야 한다는 점이 아쉬움으로 남는다고 평했다.

주요 인사이트

• 관계 유형을 무시한 채 이웃 정보를 평균 내면 '소속' 관계와 '저자' 관계가 같은 신호로 섞인다. 관계별 변환을 두면 같은 표현을 가진 엔티티라도 어떤 관계로 이어졌는지에 따라 전달되는 메시지가 달라진다.
• 엔티티 분류 실험에서 레이블이 붙은 노드는 전체 엔티티 수에 비해 극소수였다. 레이블이 없는 노드도 메시지 전달에는 참여하되 손실 계산에는 직접 쓰이지 않기 때문에, 이웃 정보를 얼마나 잘 활용하는지가 성능을 좌우한다.
• 데이터셋 자체에도 함정이 있다. 특정 관계만 보고 레이블을 역추론할 수 있거나, 한쪽 관계를 알면 반대쪽을 학습 없이 추론할 수 있는 역관계 쌍이 있으면 성능이 부풀려진다. 발표에서 소개한 벤치마크들은 이런 관계를 제거한 버전을 쓴다.
• 파라미터 절약이 곧 성능 손실은 아니다. CompGCN은 기저 벡터를 다섯 개만 써도 성능이 크게 떨어지지 않았고, 관계 수가 늘어나도 그 경향이 유지됐다.
• 발표자는 CompGCN이 모든 지표에서 최고는 아니었다는 점을 오히려 논문의 겸손함으로 읽었다. 모든 지표에서 이기는 것이 반드시 좋은 방법론의 조건은 아니라는 관점이다.

자주 묻는 질문

관련 AI 소식