율-워커 방정식으로 AR 모형 계수 추정하기: 정상성 가정과 계산 복잡도가 갈리는 지점

핵심 메시지

• AR(p) 모형의 계수는 결국 시차 변수를 특징으로 쓰는 선형회귀이므로 최소제곱법의 닫힌 해로도 구할 수 있다.
• 그 닫힌 해의 계산 비용을 단계별로 쪼개면 관측치 수 n이 시차 수 p보다 훨씬 크다는 가정 아래 O(n²p + p³)로 정리된다.
• 율-워커 방정식은 자기공분산만 경험적으로 계산해 계수를 풀어내며, 전체 비용을 O(np + p²) 수준으로 낮춘다.
• 비용이 줄어드는 핵심은 자기공분산으로 만든 행렬이 퇴플리츠(Toeplitz) 구조라서, 레빈슨-더빈 재귀로 역행렬을 O(p³) 대신 O(p²)에 구할 수 있다는 점이다.
• 이 유도 전체가 시계열의 정상성 가정 위에 서 있어서, 정상성이 깨지면 계산은 빨라도 추정치는 쓸 수 없는 값이 된다.

쉽게 이해하기

시계열 분석에서 자기회귀 모형은 현재 값을 과거 값들의 가중합으로 설명한다. 시차를 두 개만 쓰는 AR(2)라면 현재 시점의 값은 한 시점 전 값에 계수 하나, 두 시점 전 값에 계수 하나를 곱해 더하고 오차항을 붙인 형태다. 분석자가 데이터에서 알아내야 하는 것은 이 두 계수이며, 시차를 늘린 일반적인 AR(p)에서도 문제의 성격은 같다.

가장 단순한 접근은 이 식을 그냥 선형회귀로 보는 것이다. 시차를 둔 과거 값들을 설명 변수로 삼으면 관측치 수 n행, 시차 수 p열짜리 특징 행렬이 만들어지고 최소제곱법의 익숙한 닫힌 해를 그대로 쓸 수 있다. 문제는 비용이다. 특징 행렬의 전치와 자기 자신을 곱하는 데 O(n²p), 그 결과로 나온 정사각 행렬의 역행렬을 구하는 데 O(p³)이 들고 나머지 항들은 n이 p보다 훨씬 크다는 가정 아래 앞의 두 항에 흡수되는데, 시차를 수십, 수백 개까지 늘리려는 순간 이 비용은 무시하기 어려워진다.

율-워커 방정식은 다른 길로 간다. 모형 식을 그대로 공분산 안에 집어넣고 공분산의 성질로 계수를 밖으로 빼내면, 백색잡음과 시계열 사이의 공분산이 0이 되어 사라지고 자기공분산들 사이의 관계식만 남는다. 이때 시차가 k인 두 시점의 공분산이 관측 시점 t와 무관하게 오직 k에만 의존한다는 정상성 조건이 결정적으로 쓰인다. 이 조건이 있어야 공분산을 시차별 상수 하나로 묶어 쓸 수 있고, 그래야 방정식이 닫힌다.

이렇게 얻은 연립방정식을 행렬 형태로 정리하면 왼쪽에는 자기공분산으로 채워진 행렬이, 오른쪽에는 자기공분산 벡터가 놓인다. 자기공분산 자체는 데이터에서 직접 계산할 수 있고 그 비용은 O(np)다. 남은 일은 이 행렬의 역행렬을 구하는 것인데, 대각선과 각 부대각선이 모두 같은 원소로 채워지는 퇴플리츠 행렬이라 레빈슨-더빈 재귀를 적용할 수 있고 O(p²)면 충분하다. 영상은 퇴플리츠와 대칭 행렬이 비슷해 보이지만 서로 다른 개념이라는 점도 반례로 짚는다.

결론적으로 율-워커 방정식의 총비용은 O(np + p²)로, 최소제곱법의 O(n²p + p³)보다 두 항 모두에서 유리하다. 다만 영상은 마지막에 균형을 잡는다. 정상성을 확인하려면 검정을 돌려야 하고, 엄밀히 따지면 그 검정의 비용도 복잡도 계산에 포함되어야 한다는 것이다. 그리고 정상성 판단이 틀렸다면 율-워커 방정식은 더 빠르게 잘못된 답을 내놓을 뿐이다.

주요 인사이트

• 같은 모형을 푸는 문제라도 데이터가 만들어 내는 행렬의 구조적 성질을 알면 알고리즘 선택이 달라진다. 여기서는 퇴플리츠 구조가 역행렬 비용을 한 차수 낮췄다.
• 통계적 가정이 성능 최적화의 전제 조건 역할을 한다는 점이 흥미롭다. 정상성은 이론적 편의를 위한 장식이 아니라 빠른 계산 경로를 여는 열쇠다.
• 정상성 검정 자체의 비용도 복잡도에 넣어야 공정하다는 지적은 실무적으로 중요하다. 최적화의 이득을 계산할 때 전제 조건을 확인하는 비용이 자주 빠진다.
• 퇴플리츠 행렬과 대칭 행렬은 다른 개념이다. 대칭이 아닌 퇴플리츠 행렬도, 퇴플리츠가 아닌 대칭 행렬도 존재한다.
• 속도 이득은 n과 p가 클 때 실제로 체감된다. 시차 두어 개짜리 작은 모형에서는 어느 방법을 쓰든 차이가 드러나지 않는다.

자주 묻는 질문

관련 AI 소식