UMAP 원리 정리: 차원 축소, t-SNE와의 차이, 위상수학적 배경

핵심 메시지

• UMAP은 지역 구조와 상당 부분의 전역 구조를 함께 보존한다고 주장하는 비선형 차원 축소 기법으로, 2018년 발표됐다.
• UMAP이 t-SNE보다 전역 구조를 잘 보존한다는 통념은 상당 부분 초기화 방식 차이에서 비롯되며, 명확한 우위 증거는 없다는 반론도 있다.
• 다만 계산 복잡도는 거의 선형(약 n^1.14)이라 데이터가 커질수록 이차 복잡도의 전통적 t-SNE보다 빠르다는 분명한 장점이 있다.
• 알고리즘은 두 단계다. 위상 표현(가중 k-최근접이웃 그래프)을 만들고, 그와 비슷한 구조를 갖는 저차원 배치를 그래프 레이아웃 최적화로 찾는다.

쉽게 이해하기

이 영상은 차원 축소 시리즈의 마지막 편으로, PCA·MDS·t-SNE에 이어 UMAP을 다룬다. 먼저 t-SNE의 한계를 짚는다. MDS는 모든 전역 거리를 보존하려다 저차원에서 실패하고, t-SNE는 지역 이웃만 보느라 전체 구조를 놓쳐 군집 사이 거리가 무의미해진다. UMAP은 그 중간에서 지역과 전역 구조를 모두 잡으려 한다고 주장하지만, Kobak과 Linderman의 논문은 그 차이가 주로 초기화에서 온다고 지적한다. 확실한 이점은 거의 선형에 가까운 계산 복잡도다.

UMAP을 이해하려면 위상 데이터 분석(TDA)을 짧게 거쳐야 한다. 데이터는 고차원 앰비언트 공간의 점들로, TDA는 그 점들이 이루는 형태, 즉 매니폴드(다양체)에 관심을 둔다. 연결·고리·구멍 같은 위상적 특징은 삼각형(단체, simplex)을 이어 붙여 근사한다. 각 점에 반지름 엡실론의 공을 씌우고 겹치면 연결하는 '여과(filtration)' 절차로 단체 복합체를 만든다. 반지름을 키우며 나타났다 사라지는 특징 중 어느 것이 진짜인지는 '지속 호몰로지(persistent homology)'가 특징의 생성·소멸을 추적해 가려낸다.

UMAP의 1단계는 위상 표현 구성이다. 어떤 반지름을 쓸지가 문제인데, 데이터셋마다 정답이 다르므로 UMAP은 반지름 대신 '이웃 수(k)'를 하이퍼파라미터로 쓴다. 이름의 U(uniform, 균일)가 여기서 온다. 실제 데이터는 균일하지 않으므로, 각 점에 개별 거리 함수를 부여해 데이터가 그 계량 아래에서 대략 균일하게 보이도록 만든다. 즉 각 점의 공이 k번째 최근접 이웃까지 늘어나고, 밀집 영역은 커지고 성긴 영역은 줄어든다. 지수적 감쇠로 가까운 이웃에 더 큰 가중치를 주되, 고립점을 막기 위해 감쇠는 첫 이웃 '이후'부터 시작하는 지역 연결성 제약을 둔다.

각 점마다 만들어진 가중 그래프들을 하나의 전역 단체 복합체로 합치는 것이 관건이다. UMAP은 이를 '퍼지 단체 집합(fuzzy simplicial set)'으로 바꿔, 멤버십을 0과 1 사이 확률로 다룬다. 두 간선을 합칠 때는 '적어도 하나가 존재할 확률(존재 확률 합에서 둘 다 없을 확률을 뺀 값)'로 결합해, 전체 데이터셋의 적절한 위상 표현을 수학적으로 보장한다. 결과는 가중 k-최근접이웃 그래프다.

2단계는 이 구조를 보존하는 저차원 임베딩을 만드는 것이다. 저차원 점을 (무작위가 아니라 스펙트럴 임베딩으로) 초기화하고, 같은 절차로 저차원 그래프를 만든 뒤 두 그래프의 인접 행렬을 비교한다. 간선은 베르누이 변수이므로 교차 엔트로피를 손실로 써서, 존재하는 간선과 존재하지 않는 간선을 동시에 맞춘다. 확률적 경사 하강법으로 최적화하며, 이는 점들이 서로 밀고 당기는 힘 기반 그래프 레이아웃과 같다. 가장 중요한 하이퍼파라미터는 이웃 수와, 점들이 얼마나 뭉치는지를 정하는 min_dist다. 결론적으로 UMAP은 지역·비선형 매니폴드 학습 기법이며, 시각화·데이터 분석이 주목적이고 생명정보학에서 특히 인기다.

주요 인사이트

• 'UMAP이 t-SNE보다 우월하다'는 밈은 과장이다. 전역 구조 보존 차이는 상당 부분 초기화에서 오며, 문헌에서는 UMAP을 t-SNE의 특수한 경우로 보기도 한다.
• UMAP의 U(균일)는 데이터가 균일하다는 가정이 아니라, 각 점에 개별 거리 함수를 줘 '균일하게 보이도록 만드는' 트릭에서 나온다.
• 반지름 대신 이웃 수를 하이퍼파라미터로 쓰는 이유는 절대 거리가 데이터셋 의존적이기 때문이다. 기본값(예: 이웃 10개)이 대체로 잘 통한다.
• 지역 연결성 제약(첫 이웃 이후부터 감쇠 시작)은 고립점을 막고 거리 분포를 넓혀 전역 구조 유지에 기여한다.
• 실제 구현은 근사 최근접이웃 하강, 손실 단순화, 네거티브 샘플링, 스펙트럴 초기화로 속도를 끌어올린다. 그래서 결과는 결정적이지 않다.

자주 묻는 질문

관련 AI 소식