특이값 분해(SVD) 시각적으로 이해하기 — 회전·확대·회전과 저랭크 근사의 원리

핵심 메시지

• 특이값 분해(SVD)는 대칭·랭크·모양에 상관없이 어떤 행렬이든 세 개의 특별한 행렬 U·Σ·Vᵀ의 곱으로 쪼갠다.
• 기하학적으로 대각 행렬은 축을 늘리고, 직교 행렬은 회전을 일으킨다. SVD는 행렬의 변환을 '회전 → 확대(차원 변경) → 회전'으로 푼다.
• 직사각 행렬은 차원을 바꾸는 변환(예: R3에서 R2로)이며, SVD는 이를 정사각 대각 행렬과 '차원 지우개'의 합성으로 이해한다.
• AᵀA와 AAᵀ는 항상 대칭 행렬이고, 그 고유벡터가 좌·우 특이벡터, 두 행렬이 공유하는 고유값의 제곱근이 특이값이다.
• SVD는 행렬을 랭크-1 행렬들의 합으로 보는 관점도 주며, 이는 이미지 압축 같은 저랭크 근사로 쓰인다.

쉽게 이해하기

특이값 분해(SVD)는 선형대수의 대미로 불린다. 과목의 핵심 개념을 한 정리로 묶으면서도, 데이터 과학과 머신러닝 시대에 폭넓게 쓰이기 때문이다. SVD는 대칭성·랭크·모양과 무관하게 어떤 행렬이든 세 개의 특별한 행렬로 분해할 수 있다고 말한다.

이 정리에는 우아한 시각적 해석이 깔려 있다. 대각 행렬은 각 축을 늘리거나 줄이고, 직교 행렬은 회전을 일으킨다. 또 직사각 행렬은 차원을 바꾸는 힘을 가진다. 예컨대 2×3 행렬은 R3의 벡터를 R2의 벡터로 옮긴다. 영상은 X·Y는 보존하고 Z만 지우는 단순한 직사각 행렬을 '차원 지우개'라 부르며 출발점으로 삼는다.

대부분의 행렬은 대칭이 아니지만, 인위적으로 대칭을 만들 수 있다. 어떤 행렬 A에 대해 AᵀA와 AAᵀ는 항상 정사각이면서 대칭인 행렬이 된다. 대칭 행렬은 고유벡터들이 서로 수직이라는 강력한 성질이 있어, 이를 정규화해 묶으면 회전을 뜻하는 직교 행렬이 된다.

AAᵀ의 고유벡터를 A의 좌특이벡터, AᵀA의 고유벡터를 우특이벡터라 한다. 두 대칭 행렬은 고유값이 음이 아니며, 내림차순으로 정렬하면 겹치는 고유값들이 서로 같다. 이 공유된 고유값의 제곱근이 바로 A의 특이값이다. 이렇게 모은 조각으로 SVD가 완성된다. U는 좌특이벡터, V는 우특이벡터를 담고, Σ는 특이값을 큰 순서로 담은 직사각 대각 행렬이다.

행렬 A의 복잡한 변환은 SVD로 보면 세 단계의 단순한 변환을 차례로 적용하는 것과 같다. 먼저 Vᵀ가 우특이벡터를 표준 기저로 되돌리는 회전을 하고, Σ가 차원을 바꾸며 특이값만큼 축을 늘리고, 마지막으로 U가 표준 기저를 좌특이벡터에 맞춰 회전한다. 그 결과 구는 타원체로 변한다. 또 SVD는 행렬을 랭크-1 행렬들의 합으로 보게 해, 사진을 점점 더 많은 랭크-1 행렬로 근사하는 저랭크 근사(이미지 압축)에 쓰이며, 주성분 분석(PCA)과도 맞닿아 있다.

주요 인사이트

• SVD의 힘은 '모든 행렬'에 조건 없이 적용된다는 일반성에 있다. 정사각이 아니어도, 대칭이 아니어도 회전·확대·회전으로 분해된다.
• 대칭이 아닌 행렬에서 AᵀA와 AAᵀ로 대칭을 '만들어 내는' 발상이 특이벡터와 특이값을 정의하는 출발점이다.
• 행렬을 숫자 덩어리가 아니라 기하학적 변환으로 보면 '왜'가 보인다. 계산의 목적은 숫자가 아니라 통찰이라는 말이 이를 압축한다.
• 랭크-1 행렬의 합이라는 또 다른 관점은 저랭크 근사로 이어져, 큰 행렬(예: 이미지)을 적은 정보로 근사하는 압축의 토대가 된다.

자주 묻는 질문

관련 AI 소식