머신러닝 알고리즘 총정리: 선형회귀·로지스틱·KNN·SVM·결정트리·신경망

핵심 메시지

• 머신러닝은 지도·비지도·강화·준지도학습의 네 갈래로 나뉘며, 지도학습은 다시 회귀와 분류로 갈린다.
• 선형회귀는 입력과 출력의 관계를 직선으로, 로지스틱 회귀는 시그모이드 곡선으로 확률을 추정한다.
• KNN은 식을 학습하지 않고 가까운 이웃의 다수결로 분류하며, K값 선택이 과적합·과소적합을 가른다.
• SVM은 두 클래스 사이 여백(마진)을 최대로 하는 경계를 찾고, 커널 트릭으로 비선형 문제도 푼다.
• 결정 트리는 직관적이지만 과적합되기 쉬워, 배깅(랜덤 포레스트)과 부스팅 같은 앙상블로 보강한다.

쉽게 이해하기

영상은 수식을 늘어놓는 대신 각 알고리즘의 직관을 전달하는 데 목표를 둔다. 머신러닝은 컴퓨터가 데이터에서 패턴을 배우는 분야로, 크게 지도·비지도·강화·준지도학습으로 나뉜다. 지도학습은 입력과 정답(라벨)이 함께 주어진 데이터로 학습하고, 비지도학습은 입력만으로 구조를 스스로 찾는다.

지도학습은 연속적인 값을 맞히는 회귀와 범주를 맞히는 분류로 갈린다. 가장 기본인 선형회귀는 예측값과 실제값의 제곱 오차를 최소화하는 직선을 찾으며, 키와 신발 크기의 관계처럼 여러 변수를 더해 정교해진다. 신경망을 비롯한 고급 기법도 결국 입력과 출력의 관계를 배우는 이 발상의 확장이다.

분류의 기본인 로지스틱 회귀는 직선 대신 시그모이드 곡선으로 어떤 클래스에 속할 확률을 계산해 0.5를 기준으로 분류한다. KNN은 어떤 식도 학습하지 않고 훈련 데이터를 저장해 두었다가 가장 가까운 K명의 다수결로 분류하는데, K가 너무 작으면 잡음에 민감해 과적합되고 너무 크면 지역 구조를 무시해 과소적합되므로 적절한 K 선택이 핵심이다.

SVM은 두 클래스를 가르는 여러 직선 중 양쪽과의 거리(마진)가 가장 큰 경계를 고른다. 마진이 클수록 새 데이터가 조금 흔들려도 오분류가 줄기 때문이다. 경계에 가장 가까운 점들을 서포트 벡터라 부르며, 데이터가 직선으로 나뉘지 않을 때는 커널 트릭으로 더 높은 차원으로 끌어올려 선형 분리를 가능하게 한다.

결정 트리는 예/아니오 질문으로 데이터를 갈라 잎을 최대한 순수하게 만들지만 과적합되기 쉽다. 그래서 앙상블을 쓴다. 배깅 계열인 랜덤 포레스트는 서로 다른 데이터·특징 부분집합으로 많은 트리를 학습해 다수결·평균으로 합치고, 부스팅은 트리를 차례로 학습시켜 이전의 실수를 바로잡는다(그래디언트 부스팅·XGBoost). 신경망은 입력과 출력 사이에 은닉층을 두어 특징을 자동으로 학습하며, 층을 깊게 쌓으면 딥러닝이 된다. 비지도학습 쪽에서는 K-평균 군집화와 PCA 같은 차원 축소가 대표적이다.

주요 인사이트

• 신경망을 포함한 많은 고급 기법도 결국 '입력과 출력의 관계를 학습한다'는 선형회귀의 기본 발상을 확장한 것이다.
• KNN에서 K가 너무 작으면 과적합(잡음에 민감), 너무 크면 과소적합(지역 구조 상실)이 되므로 검증 데이터로 최적 K를 찾는다.
• SVM은 경계를 정하는 데 서포트 벡터만 중요해서, 나머지 데이터가 사라져도 경계가 같다는 점에서 메모리 효율적이다.
• 단일 결정 트리의 과적합 문제는 랜덤 포레스트(병렬·다수결)와 부스팅(순차·오류 보정) 같은 앙상블로 완화한다.
• 차원 축소(PCA)는 변수가 많고 중복될 때 핵심 정보를 최대한 보존하면서 잡음과 연산 부담을 줄여 준다.

자주 묻는 질문

관련 AI 소식