정형 데이터 딥러닝 정리: FT-트랜스포머와 XTab 크로스 테이블 사전학습, 부스팅과의 성능 비교

핵심 메시지

• 이미지·자연어와 달리 표 형태의 정형 데이터에서는 여전히 XGBoost·CatBoost 같은 그레이디언트 부스팅 계열 모델이 가장 널리 쓰인다.
• 정형 데이터 분야에는 ImageNet이나 GLUE 같은 표준 벤치마크가 없어 새 모델마다 다른 데이터셋으로 비교되는 문제가 있었고, 이를 정리하려는 연구가 등장했다.
• FT-트랜스포머는 수치형·범주형 컬럼을 모두 임베딩하는 피처 토크나이저를 앞에 붙이고, 컬럼 순서가 의미를 갖지 않는 표 데이터 특성상 위치 임베딩을 쓰지 않는다.
• XTab은 테이블마다 다른 피처라이저와 헤드는 따로 두고 트랜스포머 백본만 공유해, 컬럼 구조가 제각각인 테이블들 사이의 사전학습을 가능하게 했다.
• 사전학습을 많이 할수록 다운스트림 성능은 올라갔지만, 시간이 제한된 튜닝 경쟁에서는 학습이 빠른 부스팅 계열이 여전히 앞섰다.

쉽게 이해하기

고려대학교 DMQA 연구실의 이번 세미나는 표 형태의 정형 데이터에 딥러닝을 적용하려는 시도를 두 편의 논문으로 정리한다. 발표자는 이미지와 텍스트 분야에서는 딥러닝이 계속 성능을 갱신하는 반면, 정형 데이터에서는 데이터마다 컬럼 구조가 다른 이질성 때문에 결정 트리 앙상블이 여전히 강세라는 점을 출발점으로 삼는다. 그런데도 딥러닝을 포기하지 않는 이유는 표 데이터와 이미지, 오디오를 함께 처리하는 멀티모달 파이프라인을 엔드투엔드로 구성할 수 있기 때문이라고 설명한다.

첫 번째 논문은 2021년 NeurIPS에서 발표된 정형 데이터용 딥러닝 모델 재검증 연구다. 이 분야에는 ImageNet이나 GLUE에 해당하는 확립된 벤치마크가 없어, 새로 제안된 모델들이 서로 다른 데이터셋 위에서 부적절하게 비교되어 왔다는 문제의식에서 출발한다. 저자들은 기존 모델을 미분 가능한 트리 계열, 어텐션 기반 모델, 특성 간 곱셈 상호작용을 명시적으로 모델링한 계열의 세 갈래로 분류한 뒤, 누구나 쉽게 쓸 수 있는 강력한 베이스라인 두 가지를 새로 제시한다.

하나는 합성곱 없이 선형 레이어와 스킵 커넥션만 사용하는 ResNet 형태의 모델이고, 다른 하나가 FT-트랜스포머다. FT-트랜스포머는 수치형 값에는 임베딩 행렬을 곱하고 범주형 값에는 룩업 테이블을 두어 모든 컬럼을 같은 차원의 벡터로 바꾼 뒤, CLS 토큰을 하나 덧붙여 트랜스포머 레이어를 통과시킨다. 일반적인 트랜스포머와 달리 위치 임베딩이 없는데, 표에서는 컬럼 a, b, c의 순서가 바뀌어도 의미가 달라지지 않기 때문이다.

11개 공개 데이터셋 실험에서 단순한 MLP와 ResNet 형태 모델은 하이퍼파라미터만 잘 조정하면 충분히 경쟁력 있는 성능을 냈고, FT-트랜스포머는 대부분의 과제에서 가장 좋은 성능을 보였다. 다만 부스팅 계열과 직접 붙였을 때는 일부 데이터셋에서 부스팅이 여전히 앞섰고, 발표자는 딥러닝이 정형 데이터를 보편적으로 능가한다고 결론 내릴 수 없다는 점을 분명히 한다. 합성 데이터로 타깃의 성격을 연속적인 형태와 불연속적인 형태로 바꿔 가며 실험한 결과, FT-트랜스포머는 양쪽 성격 모두에서 무너지지 않는 모델이라는 점이 확인됐다.

두 번째 논문은 2023년 ICML에서 발표된 XTab으로, 서로 다른 테이블을 가로지르는 사전학습을 목표로 한다. 핵심은 테이블마다 고유한 피처라이저와 헤드는 따로 두고 트랜스포머 백본만 공유해, 컬럼 개수와 의미가 다른 표들 사이에서도 공통 지식을 학습하도록 만든 구조다. 이때 수많은 테이블을 물리적으로 합치지 않고 병렬로 학습하기 위해 연합 학습 구조를 빌려 왔고, 각 클라이언트가 다섯 번의 로컬 업데이트 후 공유 백본의 그레이디언트만 중앙 서버로 보내 단순 합산하는 방식을 썼다.

주요 인사이트

• 정형 데이터에서 딥러닝이 밀리는 이유는 성능만이 아니라 속도다. 발표자는 한 시간이라는 동일한 튜닝 예산을 주면 학습이 빠른 부스팅 계열이 훨씬 많은 시도를 할 수 있어 결과적으로 더 좋은 점수를 낸다고 지적한다.
• 복잡한 모델이 항상 이기지는 않는다. 실험에서 단순한 MLP와 ResNet 형태의 모델이 평균 순위 상위권을 지켰고, 구조가 더 복잡한 모델이 오히려 여러 데이터셋에서 밀리는 결과가 나왔다.
• 표 데이터 전이학습의 걸림돌은 데이터 양이 아니라 구조적 이질성이다. XTab은 이 문제를 컬럼 이름을 바꾸는 방식이 아니라, 데이터에 특화된 부분과 공유되는 부분을 구조적으로 분리하는 방식으로 풀었다.
• 사전학습 모델은 오래 미세조정할수록 좋아지지 않았다. 조기 종료 없이 길게 튜닝한 쪽보다 가볍게 튜닝한 쪽의 승률이 높았는데, 발표자는 학습이 길어질수록 사전학습으로 얻은 지식을 잊어버리기 때문이라고 설명한다.
• 결론은 아직 부스팅의 손을 들어 주지만, XTab은 정형 데이터에도 파운데이션 모델을 세울 수 있다는 구조적 토대를 마련했다는 점에서 의미가 있다.

자주 묻는 질문

관련 AI 소식