시계열 예측 패러다임 변화 - ARIMA·트랜스포머·채널 전략·TimesFM 정리

핵심 메시지

• 시계열 데이터는 시간적 순서, 자기상관성, 비정상성이라는 특성을 가지며 예측 모델 설계의 출발점이 된다.
• 예측 모델은 사람이 구조를 가정하는 통계 모형에서 데이터가 표현을 학습하는 딥러닝으로 옮겨 갔다.
• 단순한 DLinear가 복잡한 트랜스포머를 능가하면서, 다변량 변수를 섞는 방식 자체가 재검토되었다.
• 채널 독립(CI)과 채널 의존(CD) 전략은 안정성과 정보량 사이의 트레이드오프이며, SOFTS·TimeXer는 둘을 결합한다.
• TimesFM은 대규모 시계열로 사전 학습해 추가 학습 없이 예측하는 제로샷 파운데이션 모델의 가능성을 보여준다.

쉽게 이해하기

고려대학교 DMQA 연구실(김성범 교수 지도)의 오픈 세미나에서 박성수 발표자는 시계열 예측 모델이 어떻게 발전해 왔는지를 통사적으로 정리한다. 먼저 시계열 데이터를 일정 간격으로 수집된 순차적 데이터로 정의하고, 시간적 순서·자기상관성·비정상성이라는 세 가지 특성을 짚는다. 또 모델이 참고하는 과거 구간인 '룩백 윈도우'와 예측해야 할 미래 구간인 '예측 호라이즌'이라는 핵심 용어를 소개한다.

첫 흐름은 통계적 방법이다. 최근 값에 더 큰 가중치를 주는 지수평활(Exponential Smoothing)과, 자기회귀·차분·이동평균을 결합한 ARIMA가 대표적이다. 이들은 해석이 쉽고 적은 데이터에서도 잘 작동하지만 복잡한 비선형 패턴과 변수 간 상호작용을 다루기 어렵다는 한계가 있다. 그래서 사람이 규칙을 설계하는 대신 모델이 데이터로부터 표현을 학습하는 딥러닝으로 무게중심이 이동한다.

딥러닝 단계에서는 MLP, RNN, CNN이 쓰였다. MLP는 단순하지만 시간 순서를 구조적으로 반영하기 어렵고 입력 길이가 고정되는 한계가 있다. RNN은 순서를 잘 반영하지만 기울기 소실·폭주와 병렬 처리 제약을 겪는다. CNN은 지역 패턴을 잘 잡지만 긴 의존성을 보려면 층을 많이 쌓아야 하며, 이를 완화하기 위해 간격을 두고 입력을 보는 '확장 합성곱(Dilated Convolution)'이 활용된다.

세 번째 흐름은 트랜스포머다. 셀프 어텐션으로 멀리 떨어진 시점을 직접 참고하려는 기대 속에 Informer, Autoformer, FEDformer 등이 등장했다. 그러나 'Are Transformers Effective for Time Series Forecasting?'(AAAI 2023)는 단순한 DLinear가 여러 벤치마크에서 이들을 능가함을 보였다. 핵심 교훈은 문제가 어텐션 구조 자체가 아니라, 미래에 유지된다는 보장이 없는 변수 간 상관관계를 강하게 섞은 데 있었다는 점이다.

이 관찰에서 다변량 시계열을 '함께 볼 것이냐(채널 의존, CD)', '독립적으로 볼 것이냐(채널 독립, CI)'라는 전략 논의가 본격화된다. CD는 변수 간 상관을 활용하지만 분포 변화에 취약하고, CI는 안정적이지만 변수 간 정보를 놓친다. SOFTS는 코어 표현을 매개로 두 장점을 결합하고, TimeXer는 셀프 어텐션으로 타깃의 시간 패턴을, 크로스 어텐션으로 외생 변수 정보를 선택적으로 가져온다. 마지막으로 구글의 TimesFM은 1천억 개 이상의 시점으로 사전 학습한 디코더 기반 파운데이션 모델로, 추가 학습 없이도 다양한 데이터셋에서 경쟁력 있는 제로샷 예측을 보여준다.

주요 인사이트

• DLinear의 성공은 '복잡한 모델이 항상 낫다'는 통념을 깨고, 다변량 변수 결합 방식 자체를 연구 의제로 끌어올렸다.
• 채널 독립 전략의 강건함은 변수 간 상관관계가 미래에 바뀌거나 분포 이동이 생길 때 모델이 덜 흔들리도록 만든다.
• TimeXer는 예측 대상을 내생 변수, 나머지를 외생 변수로 보고 패치 토큰과 글로벌 토큰으로 둘을 연결하는 설계를 취한다.
• TimesFM은 입력 패치(32)보다 긴 출력 패치(128)를 생성해 오토리그레시브 단계 수를 줄이고 오류 누적과 계산량을 동시에 낮춘다.
• 시계열 파운데이션 모델은 명확한 토큰 단위 부재, 가변 길이, 서로 다른 시간 해상도, 대규모 공개 코퍼스 부족이라는 난제를 안고 있다.

자주 묻는 질문

관련 AI 소식