관계형 데이터베이스 제로샷 예측 모델: 그래프 변환과 마스크 어텐션으로 피처 엔지니어링 대체

핵심 메시지

• 기업 데이터를 머신러닝에 넣으려고 여러 테이블을 하나의 표로 합치면, 기본키와 외래키가 담고 있던 관계 정보가 사라지고 사람이 직접 피처를 만들어야 한다.
• 발표자들은 관계형 데이터베이스를 그래프로 보고, 예측하려는 대상 주변의 이웃 그래프를 표본으로 뽑아 셀의 나열로 직렬화한 뒤 숫자·텍스트·불리언 인코더로 임베딩한다.
• 핵심은 마스크 어텐션이다. 열 어텐션은 특정 열의 분포를 학습하고, 피처 어텐션은 대상 자체의 정보를, 이웃 어텐션은 주변 개체의 정보를 모은다.
• 마스크 없는 전체 어텐션도 시험했지만 의미 있는 성능 향상이 없어 결국 빼 버렸다.
• 품목 이탈 예측에서 40억 파라미터급 언어모델이 AUROC 62를 낸 반면 2200만 파라미터 모델이 73을 기록했고, 이는 언어모델이 관계형 데이터에 약하다는 점을 보여준다.

쉽게 이해하기

회사에 쌓인 데이터로 무언가를 예측하려 할 때 흔한 출발점은 흩어진 테이블을 하나의 커다란 표로 합치는 것이다. 발표자는 이 과정에서 데이터베이스가 원래 가지고 있던 기본키와 외래키 관계가 사라지고, 그 빈자리를 데이터 과학자의 수작업 피처 엔지니어링이 메워야 한다고 지적했다. 그래서 이들은 표로 눌러 담는 대신 관계형 데이터베이스 자체를 입력으로 받는 모델을 만들었다.

출발점은 데이터베이스를 그래프로 보는 관점이다. 거래 테이블처럼 성격이 다른 테이블이 노드 종류가 되고, 예측하려는 대상 주위의 이웃을 표본으로 뽑아 문맥 그래프를 만든다. 그래프를 따라 걸으며 값을 모으는 방식은 깊이 우선 탐색과 너비 우선 탐색에 해당하고, 이렇게 모은 값들은 셀의 순열로 직렬화돼 트랜스포머의 문맥이 된다. 각 셀은 성별이나 급여처럼 자료형이 다르므로 숫자·텍스트·불리언 인코더가 따로 임베딩을 만든다.

이 방법에서 가장 새로운 부분은 어텐션을 목적에 따라 가려서 쓰는 설계다. 열 어텐션은 문맥에 들어온 같은 열의 값들만 보게 해서 예컨대 여성이 90퍼센트, 남성이 10퍼센트라는 분포 자체를 모델이 익히게 한다. 피처 어텐션은 예측 대상 개체의 정보를 모으고, 이웃 어텐션은 함께 표본으로 뽑힌 주변 개체에서 쓸 만한 신호를 끌어온다. 여기에 마스크 없는 전체 어텐션도 얹어 봤지만 성능이 크게 오르지 않아 제외했다.

성능 비교로는 품목 이탈 예측 사례가 제시됐다. 40억 파라미터급 언어모델이 AUROC 62에 머문 반면, 2200만 파라미터에 불과한 이 모델은 73을 기록했다. 발표자는 이 결과를 두고 언어모델이 관계형 데이터를 다루는 데 매우 약하다고 정리했고, 진행자는 큰 모델이 데이터베이스 관련 질의를 이런 전용 모델에 넘기고 나머지는 스스로 처리하는 조합을 떠올렸다.

실제 산업 적용 사례도 언급됐다. 발표자의 지도교수가 창업한 회사에서 이와 비슷한 모델을 산업 규모로 키우고, 에이전트가 적절한 질문을 던져 필요한 예측값을 얻는 질의를 작성하도록 하는 프로토콜을 개발했다는 것이다.

주요 인사이트

• 데이터를 모델에 맞추는 대신 모델을 데이터 구조에 맞추는 접근이다. 표로 눌러 담을 때 사라지던 관계가 그대로 입력에 남으므로, 사람이 관계를 되살리는 피처를 설계하던 단계 자체가 줄어든다.
• 파라미터 수가 성능을 결정하지 않는 영역이 분명히 있다. 2200만 파라미터 모델이 훨씬 큰 언어모델을 이겼다는 결과는 자료 형태에 맞는 구조가 규모보다 앞설 수 있음을 보여준다.
• 어텐션을 어디에 걸지 정하는 마스크 설계가 곧 도메인 지식의 주입 통로다. 열 단위로 보게 하면 분포를, 이웃 단위로 보게 하면 관계를 학습하도록 유도할 수 있다.
• 큰 언어모델과 전용 예측 모델을 역할로 나누는 구성이 현실적인 선택지로 제시됐다. 예측 질의는 작고 빠른 전용 모델이 맡고, 무엇을 물어야 할지는 에이전트가 판단하는 방식이다.

자주 묻는 질문

관련 AI 소식