그래프 신경망 자기지도학습 정리 - 오토인코더 복원·그래프 기술자 예측·대조학습 세 가지 방식 비교

핵심 메시지

• 라벨이 비싸거나 구하기 어려운 화학·생물 데이터에서는 라벨 없는 큰 데이터로 먼저 학습한 뒤 작은 라벨 데이터로 미세조정하는 전이학습이 자연스러운 선택이다.
• 그래프 자기지도학습은 크게 세 갈래다. 입력을 복원하는 오토인코더 계열, 미리 계산한 그래프 기술자를 맞히는 방식, 그리고 비슷한 것은 당기고 다른 것은 미는 대조학습이다.
• 복원 계열에는 잠재 벡터의 내적으로 인접 행렬을 복원하는 그래프 오토인코더와, 가려 둔 노드 특징을 복원하는 속성 마스킹이 있다.
• 대조학습은 같은 그래프에서 증강으로 만든 두 뷰를 양성 쌍으로, 배치 안의 다른 그래프를 음성 쌍으로 삼아 두 표현 사이의 상호정보량을 키우는 방향으로 학습한다.
• 구조가 조금 달라도 표현은 비슷해야 한다는 대조학습의 전제가 늘 맞지는 않는다. 분자에서는 원자 하나만 바뀌어도 성질이 완전히 달라질 수 있다.

쉽게 이해하기

라벨이 없는 그래프만 잔뜩 있을 때 그래프 신경망을 어떻게 학습시킬 것인가. 이 영상은 이 질문을 출발점 삼아, 과제와 무관한 그래프 표현을 배우는 대표적인 접근들을 한 편에 정리한다. 화학과 생물 데이터처럼 라벨을 모으는 데 비용이 많이 드는 분야에서 특히 실질적인 문제다.

대표적인 활용처는 두 가지다. 하나는 라벨 없는 큰 데이터로 사전학습한 뒤 라벨이 있는 작은 데이터로 미세조정하는 전이학습이고, 다른 하나는 그래프를 임베딩으로 바꿔 군집화나 이상치 탐지에 쓰는 순수 표현 학습이다. 후자에서는 비슷한 그래프가 비슷한 임베딩을 갖는, 잘 정돈된 잠재 공간을 만드는 것이 목표가 된다.

다만 발표자는 사전학습이 항상 이득은 아니라고 못 박는다. 분자 그래프를 대상으로 여러 GNN 사전학습 기법을 분석한 연구에서는 후속 과제 성능에 유의미한 개선이 확인되지 않았고, 해당 논문은 그 원인까지 논의한다. 무조건 사전학습부터 하고 보는 관행에 대한 경고인 셈이다.

첫 번째 갈래는 복원이다. 2016년 그래프 오토인코더는 두 층의 GNN으로 노드별 잠재 표현을 만든 뒤, 잠재 벡터의 내적으로 인접 행렬을 예측한다. 좋은 노드 표현이라면 그래프 구조를 보존해야 한다는 발상이다. 2019년 GNN 사전학습 전략 논문이 제안한 속성 마스킹은 인접 행렬 대신 가려 둔 노드 특징을 복원한다. 노드 임베딩 일부를 영벡터로 바꾸고 예측값과 실제값을 손실 함수에서 비교하는 방식이다.

두 번째는 노드 차수나 군집 계수 같은 미리 계산한 그래프 기술자를 맞히게 하는 방식이다. 발표자는 이 접근에 회의적인 시각도 함께 내놓는다. 어차피 후속 과제용 사전학습이 목적이라면 그 기술자를 그냥 특징으로 쓰면 되지 않느냐는 것이다. 세 번째인 대조학습은 같은 그래프를 증강해 만든 두 뷰를 가깝게, 배치 안의 다른 그래프는 멀게 학습한다. 속성 마스킹, 속성 섞기, 간선 추가·제거 같은 증강 기법이 여기에 쓰인다. 2020년 GraphCL은 그래프 수준에서 두 뷰의 일치도를 최대화하고, 같은 해 InfoGraph는 그래프 전체 표현과 부분 구조 표현을 대비시켜 둘이 같은 그래프에서 나왔는지 맞히게 한다. 발표자는 영상 말미에 그래프 자기지도학습이 아직 자연어나 비전만큼의 돌파구를 내지는 못했다고 평가하면서도, 라벨 없는 학습이 필요한 상황은 여전히 많다고 정리한다.

주요 인사이트

• 사전학습은 기본값이 아니라 검증 대상이다. 분자 그래프 연구에서 후속 과제 개선이 확인되지 않았다는 사례는, 도메인마다 사전학습의 효용을 따로 확인해야 한다는 뜻이다.
• 노드 수준 임베딩과 그래프 수준 임베딩은 목표가 다르다. 그래프 수준에서는 다른 그래프와의 구별이 중요하고, 노드 수준에서는 한 그래프 안에서의 관계가 중요하다. 방법론마다 어느 쪽을 겨냥했는지 확인해야 한다.
• 기술자 예측 방식은 스스로를 잠식할 수 있다. 예측 대상인 기술자를 그대로 특징으로 넣어도 되는 상황이라면 굳이 사전학습으로 돌아갈 이유가 약해진다.
• 대조학습의 성패는 '무엇을 비슷하다고 볼 것인가'라는 가정에 달려 있다. 증강으로 구조를 살짝 바꿔도 의미가 유지된다는 전제가 분자처럼 민감한 도메인에서는 깨질 수 있다.
• 그래프 전체를 통째로 복원하는 것은 매력적으로 들리지만 난도가 매우 높다. 발표자도 직접 프로젝트에서 겪은 어려움으로 언급한다.

자주 묻는 질문

관련 AI 소식