최소 왜곡 임베딩(MDE): PCA부터 UMAP까지 차원 축소를 하나로 묶는 프레임워크

핵심 메시지

• 최소 왜곡 임베딩(MDE)은 PCA, 다차원 척도법, 라플라시안 아이겐맵, UMAP 같은 기법들을 '왜곡을 최소화하는 하나의 최적화 문제'로 통합한다.
• 임베딩의 목표는 원본 데이터에 충실한 것이다. 비슷한 항목의 벡터는 서로 가깝게, 비슷하지 않은 항목의 벡터는 가깝지 않게 배치한다.
• 발표자는 제약이 있는 비볼록 문제를 풀기 위해 LBFGS를 확장한 '투영 LBFGS' 알고리즘을 만들었고, 기존 투영 경사법보다 훨씬 빠르게 수렴한다고 설명했다.
• PCA는 원본 벡터의 내적을 가중치로 쓰는 특수한 경우일 뿐이며, 두 벡터의 각도가 예각이면 비슷하고 둔각이면 비슷하지 않다고 보는 것과 같다.
• 연구자가 쓰는 도구가 연구의 방향과 질을 바꾼다는 것이 발표 전체를 관통하는 주제였다.

쉽게 이해하기

알파X아카이브(alphaXiv)가 연 커뮤니티 강연에서 악샤이 아그라왈이 자신의 박사 과정 연구인 최소 왜곡 임베딩(Minimum Distortion Embedding, MDE)을 소개했다. 그는 구글 브레인에서 텐서플로 2를 개발하다 스탠퍼드에서 스티븐 보이드 교수와 함께 최적화를 연구했고, 그 과정에서 나온 것이 이 프레임워크다. 관련 논문은 무료로 공개돼 있고 파이토치 기반 오픈소스 패키지 PyMDE로 직접 계산해 볼 수 있다.

임베딩은 1부터 n까지 번호를 매긴 추상적인 항목들을 벡터로 표현하는 작업이다. 차원이 2나 3이면 시각화에, 더 높으면 후속 계산에 쓴다. 좋은 임베딩의 조건은 간단하다. 두 항목이 비슷하면 벡터가 서로 가까워야 하고, 비슷하지 않으면 가깝지 않아야 한다. 여기서 '비슷하다'는 응용 분야가 정하는 성질이고, '가깝다'는 유클리드 거리로 재는 수학적 성질이다.

MDE는 이 조건을 왜곡 함수로 옮긴다. 항목 쌍마다 왜곡 함수를 정해 두고, 임베딩 벡터 사이 거리에 그 함수를 적용한 값의 평균을 최소화한다. 여기에 중심화, 앵커링, 표준화 같은 제약을 붙인다. 특히 표준화 제약은 특성 열들이 서로 상관이 없고 제곱평균제곱근이 1이 되게 강제해 임베딩이 한 점으로 붕괴하는 것을 막는다.

이 틀에 특정 왜곡 함수와 표준화 제약을 넣으면 PCA, 커널 PCA, 아이소맵, 국소 선형 임베딩, 고전적 다차원 척도법, 라플라시안 아이겐맵 등이 그대로 재현된다. 이들은 서로 다른 알고리즘이 아니라 가중치와 간선 집합을 어떻게 고르느냐만 다른 같은 문제라는 것이다. 그래프 레이아웃 알고리즘도 대부분 이 프레임워크의 특수한 경우라고 그는 설명했다.

강연의 다른 절반은 도구 이야기였다. 발표자는 주피터 노트북의 숨은 상태, 재현 불가능, 깃 버전 관리의 어려움에 오래 시달렸고, 그래서 순수 파이썬 파일로 저장되는 새 노트북 마리모(marimo)를 만들었다. 그는 산점도에서 점을 직접 선택해 원본 손글씨 숫자 이미지를 되짚어 보는 식으로, 박사 과정 때는 답하기 너무 어려웠던 질문에 몇 줄로 답할 수 있게 됐다고 말했다.

주요 인사이트

• 차원 축소 기법을 '어느 것이 더 좋은가'로 고르기보다, 어떤 왜곡 함수와 제약을 쓰는지로 보면 선택 기준이 훨씬 명확해진다.
• 국소 구조를 강조하려면 각 항목의 k-최근접 이웃을 비슷한 쌍으로 삼고, 전역 구조를 살리려면 원본 데이터의 최단 경로 거리를 보존하도록 왜곡 함수를 설계한다.
• 임베딩 결과가 무언가를 닮아 보이는 현상은 대개 우연이다. 발표자는 미국 카운티 임베딩이 미국 지도처럼 보였지만 실제로는 관련이 없었다며, 이런 해석을 찻잎 점 보기에 비유했다.
• 발표자는 오늘날 차원 축소가 특징 공학보다는 데이터를 한 시점의 스냅숏으로 탐색하고 이상치를 찾는 데 더 유용하다고 봤다. 특징 표현 자체는 신경망이 학습하는 쪽이 미지의 데이터까지 일반화된다는 이유에서다.
• 도구가 사고를 바꾼다는 주장이 강연 내내 구체적 사례로 뒷받침됐다. 텐서플로가 정적 그래프를 요구하던 시절에는 동적 제어 흐름이 필요한 연구가 어려웠고, 파이토치가 그 제약을 풀면서 가능한 연구의 종류가 달라졌다는 것이다.

자주 묻는 질문

관련 AI 소식