퓨즈드 라소(Fused Lasso) 정리: 시계열·공간 데이터에 어울리는 라소 회귀 확장

핵심 메시지

• 퓨즈드 라소는 라소 회귀에 제약을 하나 더 붙인 형태로, 첫 번째 제약은 기존 라소와 똑같이 계수들의 L1 노름을 일정 값 이하로 묶는다.
• 추가된 두 번째 제약은 이웃한 계수끼리의 차이를 절댓값으로 모두 더한 값을 일정 값 이하로 묶어, 인접한 계수들이 서로 비슷한 크기를 갖도록 만든다.
• 규제의 세기는 제약 상한값이 결정한다. 상한이 아주 크면 사실상 규제가 없는 것과 같고, 아주 작으면 계수들이 매우 강하게 눌린다.
• 시간이나 공간에서 이웃한 변수들의 효과가 비슷할 것이라고 기대되는 문제, 예컨대 월별 강수량이나 인접 토지의 지면 상태를 쓰는 회귀에서 특히 자연스럽다.
• 이 제약을 반영해 푸는 수치적 기법과 코드 패키지가 이미 존재하므로, 계수가 시간·공간적으로 서로 연관된 선형 문제라면 선택지로 검토할 만하다.

쉽게 이해하기

라소 회귀는 잔차 제곱합을 줄이면서 계수들의 절댓값 합이 너무 커지지 않도록 묶는 방법이다. 이 영상은 그보다 훨씬 덜 알려진 확장인 퓨즈드 라소를 다루는데, 설명 순서를 뒤집어 수식부터 보여 준다. 수식의 모양을 먼저 보면 이 방법이 어떤 문제에 어울리는지가 자연스럽게 따라 나오기 때문이다.

첫 번째 부분은 보통의 라소와 같다. 최소제곱에서처럼 실제 값과 추정값의 차이를 제곱해 더한 잔차 제곱합이 있고, 여기에 계수들의 L1 노름이 어떤 상한 이하여야 한다는 조건이 붙는다. 이 상한이 크면 규제가 거의 없는 것이고, 작으면 계수들이 아주 작은 값으로 눌린다.

두 번째 부분이 퓨즈드 라소의 핵심이다. 두 번째 계수부터 마지막 계수까지 훑으면서 바로 앞 계수와의 차이를 절댓값으로 재어 모두 더하고, 그 합이 또 다른 상한 이하가 되도록 한다. 일반 라소가 계수 각각의 크기를 통제했다면, 여기서는 이웃한 계수들 사이의 간격을 통제하는 셈이다.

왜 이런 제약을 걸까. 영상은 월별 강수량으로 집값을 예측하는 선형 모형을 예로 든다. 1월 계수는 1월 강수량이 집값 추정에 미치는 효과, 2월 계수는 2월 강수량의 효과다. 1월과 2월은 시간상 바로 붙어 있으니 두 달의 날씨도 크게 다르지 않을 것이고, 그렇다면 두 계수의 효과도 비슷해야 자연스럽다. 만약 두 값이 크게 벌어진다면 모형에 무언가 문제가 있다고 봐야 한다는 것이다.

공간 문제에서도 논리는 똑같다. 철도를 놓을 때 서로 붙어 있는 다섯 구간의 지면 거칠기를 변수로 두고 총비용을 추정한다고 하자. 첫 번째 구간과 두 번째 구간처럼 인접한 땅의 거칠기가 비용에 미치는 효과는 서로 크게 다를 이유가 없다. 시간상의 인접성이 공간상의 인접성으로 바뀌었을 뿐 같은 이야기다.

주요 인사이트

• 일반 라소가 '계수를 작게'라는 사전 지식을 넣는 도구라면, 퓨즈드 라소는 '이웃한 계수는 서로 비슷하게'라는 사전 지식을 넣는 도구다. 규제항은 결국 문제에 대한 믿음을 수식으로 옮기는 자리라는 점이 드러난다.
• 변수 순서가 의미를 갖는다는 점이 중요하다. 인접한 계수의 차이를 재기 때문에, 변수들이 시간이나 공간처럼 자연스러운 순서를 가질 때에만 이 제약이 뜻을 갖는다.
• 계수 사이의 급격한 변동을 벌점으로 다루면, 데이터의 잡음 때문에 옆 칸끼리 값이 널뛰는 현상을 눌러 결과를 읽기 쉽게 만든다. 시계열과 공간 통계에서 이 방법이 자주 언급되는 이유다.
• 두 개의 상한값을 각각 조절할 수 있다는 것은 '계수의 크기'와 '계수의 매끄러움'을 따로 조절할 수 있다는 뜻이기도 하다.

자주 묻는 질문

관련 AI 소식