Time-LLM 시계열 예측 정리: 언어모델을 백본으로 쓰는 법과 Time-FFM 연합학습 확장

핵심 메시지

• 시계열에 파운데이션 모델이 나오지 않는 이유는 공개 데이터가 가장 큰 것도 10GB 미만일 만큼 적고, 날씨·경제·질병처럼 도메인마다 빈도와 변수 개수, 스케일, 통계적 성질이 모두 다르기 때문이다.
• 언어와 시계열은 모두 순서에 따라 의미가 달라지는 시퀀스 데이터라서, 다음 단어를 맞히도록 학습된 언어모델을 다음 시점의 값을 맞히는 문제로 옮겨 볼 수 있다는 것이 출발점이다.
• Time-LLM은 언어모델의 가중치를 고정한 채 시계열 패치를 언어모델이 이해하는 표현으로 옮기는 '패치 리프로그래밍'을 핵심으로 삼는다.
• 데이터셋 설명과 예측 구간, 최솟값·최댓값 같은 통계를 텍스트 프롬프트로 앞에 붙이는 방식이 성능 향상에 가장 크게 기여했다고 논문은 밝힌다.
• Time-FFM은 같은 구조를 연합학습으로 확장해, 원본 데이터 대신 공통 파라미터만 서버에 모으고 클라이언트마다 공유하지 않는 개인화 예측 헤드를 둔다.

쉽게 이해하기

자연어 처리와 컴퓨터 비전에서는 하나의 대형 모델로 여러 과제를 처리하는 파운데이션 모델이 자리를 잡았지만, 시계열 분석에서는 아직 그만한 영향력을 가진 모델이 나오지 않았다. 세미나는 그 이유를 두 가지로 정리한다. 하나는 학습에 쓸 데이터의 절대량이 부족하다는 점이고, 다른 하나는 데이터셋 사이의 이질성이 너무 크다는 점이다. 현재 공개적으로 쓸 수 있는 가장 큰 시계열 데이터셋조차 10GB에 미치지 못한다.

그래서 최근에는 이미 잘 학습된 언어모델을 빌려 오는 접근이 늘고 있다. 언어와 시계열 모두 시간과 순서에 따라 의미가 달라지는 시퀀스라는 공통점이 있고, 다음 단어를 예측하는 능력이 다음 시점의 값을 예측하는 데도 통할 것이라는 논리다. 활용 방식은 언어모델을 파인튜닝하는 쪽과 가중치를 고정한 채 백본으로만 쓰는 쪽으로 나뉘는데, 이 세미나는 후자에 초점을 맞춘다.

첫 번째로 소개된 Time-LLM은 2024년 ICLR에 실린 연구다. 먼저 학습 데이터와 시험 데이터의 분포가 시간에 따라 달라지는 문제를 완화하기 위해 평균과 표준편차로 정규화하되 학습 가능한 파라미터를 함께 두어 되돌릴 때도 분포 변화에 유연하게 대응한다. 이어 시계열을 한 점씩이 아니라 패치 단위로 잘라 지역 정보를 보존하면서 연산량을 줄이고, 패치 임베딩을 쿼리로, 언어모델의 사전학습 단어 임베딩에서 추린 프로토타입을 키와 값으로 두는 멀티헤드 어텐션으로 두 모달리티를 정렬한다.

두 번째 축은 프롬프트를 접두사로 붙이는 방식이다. 데이터셋이 무엇인지, 몇 스텝을 입력받아 몇 스텝을 예측하는지, 최솟값과 최댓값 같은 통계는 어떤지를 텍스트로 적어 시계열 토큰 앞에 이어 붙인다. 언어모델을 통과한 출력에서 접두사 부분을 떼어 내고 시계열 토큰만 선형 레이어로 펼쳐 최종 예측값을 만든다. 장기·단기 예측을 나눠 네 가지 예측 길이의 평균으로 평가한 결과, 기존 최고 성능 모델인 PatchTST보다 오차가 낮았고 같은 언어모델 기반의 다른 시계열 모델보다도 나은 성능을 보였다.

마지막으로 소개된 Time-FFM은 산업 시계열의 프라이버시 문제를 겨냥한다. 데이터를 한곳에 모으지 않고 각자 로컬에서 학습한 뒤 공통 파라미터만 서버에서 평균 내어 글로벌 모델을 만들고, 클라이언트마다 서로 다른 도메인 특성은 공유하지 않는 개인화 예측 헤드가 흡수한다. 서로 다른 도메인의 데이터셋 여덟 개를 각각의 클라이언트로 가정한 실험에서, 데이터를 한곳에 모아 학습한 중앙집중형 모델과 대등하거나 더 나은 성능이 나왔다.

주요 인사이트

• 데이터가 부족한 분야에서 파운데이션 모델을 만드는 우회로는 처음부터 새로 학습시키는 것이 아니라, 이미 다른 모달리티에서 학습된 표현을 빌려 쓰는 것이다.
• 리프로그래밍은 모델을 바꾸는 대신 입력을 모델이 쓰는 언어로 번역하는 접근이다. 언어모델 가중치를 건드리지 않으므로 학습 비용이 상대적으로 작다.
• 숫자 대신 텍스트로 맥락과 통계를 알려 준 것이 성능에 가장 크게 기여했다는 대목은, 시계열조차 '어떤 데이터인지에 대한 설명'이 있을 때 더 잘 다뤄진다는 점을 보여 준다.
• 규제와 영업 비밀 때문에 데이터를 모으기 어려운 산업 현장에서는 모델 성능보다 데이터 수집이 먼저 병목이 된다. 연합학습과의 결합은 그 병목을 우회하는 실용적인 선택지다.
• 발표자는 리프로그래밍에서 선택된 단어 프로토타입이 계절성이나 평균처럼 수치와 관련된 단어이긴 하지만, 그것이 입력 시계열 패치를 실제로 설명하는지는 검증이 더 필요하다고 지적했다.

자주 묻는 질문

관련 AI 소식