차원 축소란 무엇인가: 차원의 저주와 매니폴드 학습으로 고차원 데이터 쉽게 이해하기

핵심 메시지

• 차원 축소는 수천 차원의 데이터를 사람이 이해할 수 있는 2~3차원으로 옮기되, 점들 사이의 관계(위상 구조)를 최대한 보존하는 것이 목표다.
• 차원이 높아질수록 점들 사이 거리가 서로 비슷해지는 '차원의 저주' 때문에 거리 기반 분석과 머신러닝이 어려워진다.
• 다행히 실제 데이터는 공간에 고르게 퍼지지 않고 더 낮은 '내재 차원'의 매니폴드 위에 놓이는 경향(비균일성의 축복)이 있어 축소가 가능하다.
• 기법은 선형(PCA, 메트릭 MDS)과 비선형(비메트릭 MDS, t-SNE, UMAP)으로, 또 지역적·전역적으로 나눌 수 있다.

쉽게 이해하기

이미지 픽셀, 단어 임베딩, 분자 구조처럼 우리가 다루는 데이터는 수천 개의 차원을 가진 경우가 많다. 하지만 인간의 지각은 3차원에 갇혀 있어, 이런 다차원 데이터를 이해하고 시각화하려면 눈으로 볼 수 있는 저차원 공간으로 옮겨야 한다. 차원 축소는 바로 이 변환을 담당하는 기법들의 묶음이다.

핵심 아이디어는 원래의 고차원 공간에서 점들이 얼마나 비슷한지를 나타내는 거리(유사도) 관계를, 낮은 차원으로 옮긴 뒤에도 최대한 그대로 유지하는 것이다. 10차원의 정보를 2차원에 완벽히 담을 수는 없어 오차가 생기지만, 대개 우리가 정말 알고 싶은 것은 값 자체가 아니라 점들이 어떻게 배치되어 있는가 하는 위상 구조다.

문제는 차원이 커질수록 유클리드 거리가 점점 무의미해진다는 데 있다. 벨만이 1961년에 이름 붙인 '차원의 저주'는 차원이 높아질수록 점들 사이 거리가 균일해지고 절대값도 커져, 데이터가 공간의 부피 안쪽보다 껍질과 모서리로 퍼진다는 현상을 가리킨다. 특성이 많다고 항상 좋은 것은 아니라는 뜻이다.

그럼에도 희망이 있는 이유는 '비균일성의 축복'이다. 실제 데이터는 공간에 고르게 퍼지지 않는다. 얼굴 사진은 수천 개의 픽셀로 이뤄지지만, 실제로는 머리 모양이나 입술 형태처럼 몇 가지 속성만으로 묘사할 수 있어 내재 차원이 낮다. 이렇게 데이터가 실제로 놓여 있는 낮은 차원의 휘어진 표면을 매니폴드라 부르며, 많은 고차원 데이터가 저차원 매니폴드 위에 있다는 것이 '매니폴드 가설'이다.

영상은 이 시리즈에서 다룰 기법들을 선형/비선형, 지역적/전역적으로 분류한다. 선형 대표는 PCA와 메트릭 MDS이고, 비메트릭 MDS는 전역적 비선형 기법, t-SNE는 지역적 매니폴드 학습, UMAP은 그 사이에 걸친 방법이다. 스위스 롤 데이터셋처럼 3차원에서 말려 있는 매니폴드를 2차원 평면으로 '펼치는' 것이 매니폴드 학습이 하는 일이다.

주요 인사이트

• 차원 축소를 볼 때는 '값을 얼마나 잘 복원하느냐'가 아니라 '점들 사이 관계를 얼마나 잘 보존하느냐'를 기준으로 삼아야 한다.
• 특성(차원)을 무작정 늘리면 거리 개념이 붕괴돼 오히려 모델 성능이 나빠질 수 있으므로, 차원 축소는 시각화뿐 아니라 머신러닝 전처리로도 유용하다.
• 적절한 기법 선택은 문제 성격에 달려 있다. 이웃만 보는 지역적 기법과 전체 구조를 보는 전역적 기법, 선형과 비선형은 각각 보존하는 정보가 다르다.
• 유전자 발현 분석, 난방 시스템의 이상 탐지, 다우존스 지수 분석처럼 데이터 종류를 가리지 않고 위상 구조를 저차원에서 드러내는 데 두루 쓰인다.

자주 묻는 질문

관련 AI 소식