그래프 신경망과 신경 알고리즘 추론: 딥마인드 연구자가 보는 AGI와 연구자 조언

핵심 메시지

• 그는 현재 모델들이 계산이라는 개념을 내면화했다고 보기 어렵다는 이유로, 아직 AGI에 도달하지 않았다고 본다.
• 개념과 개념의 관계로 지식을 쌓는 과정을 그림으로 그리면 결국 그래프이며, 그래서 그래프 표현 학습이 중요하다는 것이 그의 논지다.
• 알고리즘은 입력이 5개든 5000개든 똑같이 동작하지만, 신경망은 학습 때보다 큰 입력이 들어오면 성능이 급격히 무너진다.
• 구글 지도에 딥러닝이 쓰이는 이유는 도로망이 계속 변하고, 무엇이 '최적 경로'인지 자체가 상황에 따라 달라지기 때문이다.
• 그는 신진 연구자에게 대형 학회 본회의보다 워크숍에 먼저 발표하라고 권한다.

쉽게 이해하기

인터뷰 주인공은 구글 딥마인드의 연구자이자 케임브리지 대학의 겸임 강사로, 그래프 신경망과 그래프 어텐션 네트워크로 알려져 있다. 그는 원래 고전 알고리즘과 자료구조 같은 이론 전산학에 관심이 있었고, 학부 졸업 연구로 택한 생물정보학을 계기로 머신러닝에 발을 들였다. 2017년 몬트리올의 연구소 인턴 시절 뇌 데이터를 그래프로 다루던 중 기존 방법의 한계를 만났고, 당시 막 공개된 트랜스포머와 콘텐츠 기반 어텐션에서 아이디어를 얻어 그래프 어텐션 네트워크가 나왔다.

AGI에 대한 그의 답은 신중하다. 누군가는 이미 도달했다고 하고 누군가는 아직 멀었다고 하는데, 그는 현재 모델이 계산 절차를 제대로 내면화했다고 보기 어렵다는 이유로 아직이라고 본다. 그가 그리는 지능은 개념을 이해하고 서로 연결해 새로운 지식을 만들어 내는 시스템이며, 그렇게 표현하는 순간 그것은 곧 그래프라는 자료구조라는 것이다.

그의 주요 연구인 신경 알고리즘 추론은 신경망이 알고리즘처럼 계산을 수행하도록 만드는 시도다. 고전 알고리즘은 입력 크기가 5든 5000이든 동작이 변하지 않지만, 신경망은 학습 때 보지 못한 크기의 입력에서 정확도가 100%에서 20~30%로 무너지기도 한다. 그는 알고리즘, 알고리즘 정렬 신경망, 트랜스포머, 다층 퍼셉트론이 '유연함과 구조' 사이의 스펙트럼 위에 놓인다고 설명하며, 트랜스포머 역시 토큰 분리와 전체 쌍 어텐션이라는 구조를 가진 이미 상당히 계산기적인 모델이라고 덧붙인다.

왜 경로 탐색에 고전 알고리즘만 쓰지 않느냐는 질문에 그는 실제 도로망을 예로 든다. 다익스트라 알고리즘을 쓰려면 정적인 그래프와 간선마다 하나의 숫자가 필요한데, 현실의 도로는 사고와 교통량으로 계속 변하고 '최단'이 거리인지, 현재 소요 시간인지, 알 수 없는 미래 상황까지 감안한 시간인지, 심지어 연료를 가장 적게 쓰는 경로인지도 상황마다 달라진다. 해석 가능성 측면에서는 알고리즘 디코더로 모델 내부가 어떤 문제를 풀고 있는지 질의하거나 학습된 규칙을 논리식으로 뽑아낸 연구가 있지만, 아직 초기 단계라고 선을 긋는다.

연구 커리어에 대한 조언도 인상적이다. 그는 과학이 원래 지금 같은 속도로 굴러가도록 설계되지 않았다며, 모든 흐름을 따라잡지 못하는 것은 설계상 당연한 일이라고 말한다. 그래서 뒤처질까 불안해하기보다 준비됐을 때 최신 주제를 골라 뛰어들면 된다는 것이다. 또한 채택률이 높고 같은 주제의 전문가가 모이는 워크숍에 먼저 발표해 피드백을 받으라고 권하며, 자주 발표하는 습관이 내면의 완벽주의를 깨고 정작 중요한 것이 무엇인지 알려 준다고 말한다.

주요 인사이트

• 분포 밖 일반화를 기준으로 삼으면 모델 평가의 그림이 달라진다. 학습 분포 안에서는 구분되지 않던 모델들이, 입력 규모를 키우는 순간 확연히 갈린다.
• 그는 인터넷 전체로 학습하면 '분포 안'이 매우 넓어진다고 표현한다. 요즘 모델이 만능처럼 보이는 이유와, 새로운 상황에서 무너지는 이유를 동시에 설명하는 관점이다.
• 연구 주제 선택이 자금과 유행에 좌우된다는 지적은 뼈아프다. 그는 비전 트랜스포머의 기법을 합성곱 신경망에 적용한 연구가 좋은 성능을 냈다는 사례를 들어, 아키텍처 우열이 관심의 쏠림과 뒤섞여 있다고 본다.
• '방에서 가장 똑똑한 사람이 되지 마라'는 그의 원칙은 조직 선택 기준이기도 하다. 배울 사람이 많고 그들에게 쉽게 다가갈 수 있는 환경이 성장의 조건이라는 것이다.

자주 묻는 질문

관련 AI 소식