표 데이터 파운데이션 모델 TabPFN 분석 - 합성 데이터 사전학습과 파인튜닝이 성능을 가르는 이유

핵심 메시지

• 표 형식 데이터용 파운데이션 모델은 인터넷의 실제 표 대신 인과 그래프에서 만들어 낸 합성 데이터로 사전학습한다는 점이 특이하다.
• 파인튜닝 없이 쓰면 잘 조정된 기존 모델에 못 미치지만, 대상 데이터로 파인튜닝하면 비교 대상들을 뚜렷하게 앞선다.
• 전체 파인튜닝, LoRA, 마지막 층만 갱신하기 등 여러 방식의 최종 성능은 사실상 같아 가장 단순한 전체 파인튜닝이 권장된다.
• 분포 이동과 결측이 섞인 실무형 벤치마크에서는 기본 신경망 기준선보다 못한 경우가 있고 파인튜닝도 도움이 되지 않을 때가 있다.
• 어텐션 점수를 뜯어 보니 이 모델은 문맥에 넣은 학습 라벨을 골라 쓰는 검색에 가까운 동작을 하고 있었다.

쉽게 이해하기

발표자는 얀덱스 리서치에서 표 형식 데이터를 다루는 연구자로, 문맥 내 학습을 쓰는 표 데이터 파운데이션 모델을 평가한 논문을 소개한다. 출발점은 GPT-3 논문이 보여준 문맥 내 학습이다. 예시 몇 개를 문맥에 넣으면 모델이 새 과제를 익히는 이 성질을 표 데이터로 옮기려면, 데이터셋 자체를 문맥에 통째로 넣고 예측을 뽑아내는 구조가 필요하다.

문제는 사전학습에 쓸 표 데이터가 마땅치 않다는 점이다. 인터넷에서 긁어모은 표는 크기가 작고 실제 쓰임과 거리가 있으며, 경진대회 데이터는 라이선스가 걸린다. 그래서 이 계열은 합성 데이터를 택했다. 먼저 변수 사이 의존 관계를 나타내는 인과 그래프를 무작위로 뽑고, 어떤 노드를 입력으로 어떤 노드를 목표로 쓸지 정한 뒤, 무작위 입력을 그래프에 통과시켜 데이터셋을 만든다. 이렇게 하면 사실상 무한한 학습 과제를 얻을 수 있다.

초기 버전은 표본 1000개 이하의 작은 데이터셋에서만 강했고 회귀도 지원하지 않았다. 발표자 팀도 한 번 시도했다가 다층 퍼셉트론 기준선을 넘지 못해 접었는데, 2025년의 두 번째 버전을 자체 데이터에 돌려 보고 다시 관심을 갖게 됐다. 평가는 기본 다층 퍼셉트론 대비 개선율로 이뤄졌다. 여기서 그래디언트 부스팅 계열은 평균 2% 남짓, 최근 딥러닝 기준선의 앙상블은 3% 정도의 개선을 보였고, 파인튜닝하지 않은 표 파운데이션 모델은 개선율에서는 뒤졌지만 통계적 유의성을 반영한 순위에서는 비슷한 위치였다.

판을 바꾼 것은 파인튜닝이었다. 대상 데이터셋마다 모델을 파인튜닝하자 다른 모델은 물론 같은 모델의 앙상블까지 뚜렷하게 앞섰다. 방법론에 관해서는 논문마다 주장이 엇갈렸는데, 실험 결과 전체 파인튜닝과 LoRA, 마지막 층이나 임베딩 모듈만 갱신하는 방식의 최종 성능이 사실상 같았다. 모델이 2000만 파라미터 규모라 효율을 위해 LoRA를 쓸 이유도 크지 않아, 구현이 단순하고 더 빨리 수렴하는 전체 파인튜닝이 기본값으로 제안된다.

다만 한계도 분명하다. 얀덱스가 만든 실무형 벤치마크는 날씨 예측이나 배달 서비스처럼 실제 운영 환경에서 나온 과제로 구성돼 분포 이동과 결측이 뒤섞여 있는데, 여기서는 파인튜닝하지 않은 모델이 기본 다층 퍼셉트론보다 못한 데이터셋이 나왔고 일부는 파인튜닝으로도 회복되지 않았다. 표본을 줄여 넣다 보니 과적합이 심해진 탓이다. 또 데이터셋 전체를 문맥에 넣는 구조라 어텐션 비용이 표본과 특징 양쪽으로 커져, 수십만 건 규모에서는 계산이 현실적이지 않다.

주요 인사이트

• 이 계열의 진짜 발명은 모델 구조보다 데이터 만드는 방법에 있다. 인과 그래프를 무작위로 뽑아 데이터셋을 찍어 내는 방식 덕분에 표 데이터에도 사전학습이라는 개념이 성립했다.
• 파인튜닝 방식 논쟁이 무의미했다는 결과는 실무자에게 특히 유용하다. 무엇을 고를지 고민하는 대신 가장 단순하고 빨리 수렴하는 방식을 기본값으로 삼으면 된다.
• 어텐션 분석은 이 모델이 마법 상자가 아님을 보여준다. 마지막 층에서 학습 라벨에 해당하는 토큰의 어텐션만 유의미했고, 그 점수로 가중 평균을 내면 근접 이웃 분류와 비슷한 예측이 나왔다.
• 파인튜닝은 어텐션 분포의 엔트로피를 낮추는 방향으로 작동했고, 엔트로피가 가장 많이 줄어든 구간에서 성능 개선도 가장 컸다. 파인튜닝이 검색 능력을 날카롭게 다듬는 과정으로 해석되는 이유다.
• 학술 벤치마크에서의 우위가 운영 환경으로 그대로 옮겨 가지 않는다는 점은 반복해서 확인된다. 분포 이동이 있는 벤치마크는 새 접근법을 거르는 필터 역할을 한다.
• 표 데이터 밖에서도 신호가 나온다. 그래프 데이터의 특징을 그대로 이 모델에 넣었더니 그래프 신경망과 그래프 파운데이션 모델을 앞섰는데, 이 모델을 염두에 두지 않고 만들어진 벤치마크였다는 점에서 의미가 있다.

자주 묻는 질문

관련 AI 소식