서포트 벡터 머신(SVM) 쉽게 이해하기: 최대 마진·소프트 마진·커널 트릭까지 단계별 정리

핵심 메시지

• 최대 마진 분류기는 두 그룹 가장자리 관측값 사이 중간에 경계를 두어 마진(관측값과 경계 사이 최단 거리)을 최대화하지만, 이상치에 매우 민감하다는 약점이 있다.
• 오분류를 허용하는 소프트 마진을 쓰면 이상치에 덜 민감해진다. 이는 편향-분산 트레이드오프의 한 예이며, 허용할 오분류 수는 교차검증으로 정한다.
• 소프트 마진으로 경계를 정하는 분류기가 서포트 벡터 분류기이고, 가장자리와 소프트 마진 안에 있는 관측값들을 서포트 벡터라 부른다.
• 데이터가 겹쳐 선형 분류가 어려울 때 서포트 벡터 머신은 데이터를 더 높은 차원으로 옮긴 뒤 거기서 서포트 벡터 분류기를 찾는다.
• 커널 함수가 고차원 분류기를 체계적으로 찾으며, 커널 트릭은 실제로 차원을 변환하지 않고 쌍별 관계만 계산해 연산량을 줄인다.

쉽게 이해하기

StatQuest의 조시 스타머는 1차원 예시(쥐의 몸무게로 비만 여부 분류)로 시작한다. 단순히 임계값 하나를 두면, 경계 근처의 새 관측값이 실제로는 정상 쪽에 가까운데도 비만으로 잘못 분류되는 문제가 생긴다. 더 나은 방법은 각 군집 가장자리 관측값들 사이의 중간점을 경계로 삼는 것이다.

여기서 마진은 관측값과 경계 사이의 최단 거리를 뜻한다. 경계를 두 관측값의 정확히 가운데 두면 마진이 가장 커지는데, 이렇게 최대 마진으로 분류하는 방식을 최대 마진 분류기라 한다. 그러나 이상치가 하나 끼면 경계가 그쪽으로 끌려가 엉뚱한 분류를 하게 되므로, 최대 마진 분류기는 이상치에 매우 민감하다는 한계가 있다.

이를 완화하려면 일부 오분류를 허용해야 한다. 오분류를 허용하는 경계까지의 거리를 소프트 마진이라 하고, 이를 쓰는 분류기를 서포트 벡터 분류기(소프트 마진 분류기)라 부른다. 가장자리와 소프트 마진 안에 들어오는 관측값들이 바로 서포트 벡터다. 오분류를 허용한다는 것은 학습 데이터에 덜 민감해(편향↑·분산↓) 새 데이터에서 더 잘 작동하게 만드는 편향-분산 트레이드오프의 한 사례이며, 얼마나 허용할지는 교차검증으로 정한다.

차원이 늘면 분류기의 모양도 달라진다. 1차원에서는 점, 2차원에서는 선, 3차원에서는 평면, 4차원 이상에서는 초평면(hyperplane, 평평한 아핀 부분공간)이 된다. 하지만 약물 용량처럼 너무 적거나 많으면 효과가 없고 적당할 때만 듣는, 클래스가 심하게 겹치는 데이터에서는 어떤 직선 경계를 둬도 오분류가 많아 서포트 벡터 분류기만으로는 잘 풀리지 않는다.

서포트 벡터 머신의 아이디어는 ①낮은 차원에서 시작해 ②데이터를 더 높은 차원으로 옮기고(예: y축을 용량의 제곱으로) ③거기서 두 그룹을 나누는 서포트 벡터 분류기를 찾는 것이다. 어떻게 변환할지는 커널 함수가 체계적으로 정한다. 다항식 커널은 차수 D로 차원을 늘리고(D는 교차검증으로 선택), 방사형(RBF) 커널은 무한 차원에서 분류기를 찾으며 가까운 관측값일수록 영향이 큰 가중 최근접 이웃처럼 동작한다. 핵심은 커널 트릭으로, 실제로 데이터를 고차원으로 변환하지 않고 쌍별 관계만 고차원에 있는 것처럼 계산해 연산량을 크게 줄인다.

주요 인사이트

• SVM의 학습 흐름은 '최대 마진 분류기 → (이상치 대응) 서포트 벡터 분류기 → (겹침 대응) 서포트 벡터 머신'으로 한계를 하나씩 보완하는 구조로 이해하면 쉽다.
• 마진을 키우면 새 데이터 일반화에 유리하지만, 무조건 키우면 이상치에 휘둘린다 — 적절한 오분류 허용이 곧 편향-분산 균형이다.
• 커널 트릭의 묘미는 '고차원으로 보내는 척만 한다'는 점이다. 실제 변환 없이 쌍별 관계만 계산하므로 무한 차원(RBF)도 다룰 수 있다.
• 허용 오분류 수나 다항식 차수 D 같은 선택은 모두 교차검증으로 정한다 — SVM 성능은 이런 하이퍼파라미터 선택에 크게 좌우된다.

자주 묻는 질문

관련 AI 소식