선형 회귀란 무엇인가: 회귀와 분류의 차이부터 비용 함수와 경사하강법까지 머신러닝 기초 정리

핵심 메시지

• 머신러닝은 크게 지도학습과 비지도학습, 강화학습으로 나뉘고, 지도학습은 다시 회귀와 분류로 갈린다. 출력이 키나 가격처럼 연속적인 수치면 회귀, 합격·불합격처럼 정해진 범주면 분류다.
• 문제 유형을 먼저 구분해야 하는 이유는 분류 문제에 회귀 알고리즘을 쓰거나 그 반대로 적용하면 프로젝트 자체가 어긋나기 때문이다.
• 선형 회귀는 데이터 점들 사이를 가장 잘 지나가는 '최적의 직선'을 찾아, 입력값으로부터 연속적인 출력값을 예측하는 알고리즘이다.
• 실제 값과 예측 값의 차이인 잔차를 최소화하는 것이 목표이며, 오차가 완전히 0이라면 오히려 과적합을 의심해야 한다.
• 비용 함수는 오차를 제곱해 평균 낸 값이고, 경사하강법은 학습률과 기울기를 이용해 파라미터를 반복 갱신하며 이 비용 함수의 최솟값을 찾아간다.

쉽게 이해하기

머신러닝을 처음 배울 때 가장 먼저 만나는 알고리즘이 선형 회귀입니다. 강의는 본격적인 설명에 앞서 전체 지도를 먼저 그립니다. 머신러닝에는 지도학습과 비지도학습이 있고 강화학습도 있는데, 지도학습은 다시 회귀와 분류로 나뉩니다. 이 구분을 아는 것이 중요한 이유는, 어떤 문제에 어떤 알고리즘을 써야 하는지가 여기서 결정되기 때문입니다.

둘을 가르는 기준은 출력값의 형태입니다. 결과가 1, 2, 3처럼 연속적인 수치로 나오면 회귀이고, 예·아니오처럼 정해진 선택지로 나오면 분류입니다. 강의자는 이 점을 강조하기 위해 일부러 '공부 시간에 따른 합격·불합격' 예시를 꺼냈다가 스스로 물립니다. 출력이 합격 아니면 불합격이므로 그것은 분류 문제이지 선형 회귀로 다룰 대상이 아니라는 것입니다. 이름에 '회귀'가 들어간 로지스틱 회귀가 사실은 분류 알고리즘이라는 점도 함께 짚습니다.

제대로 된 예시는 몸무게로 키를 예측하는 문제입니다. 몸무게가 독립 변수, 키가 종속 변수이고, 74kg에 150cm, 64kg에 156cm 같은 데이터가 쌓여 있을 때 새로운 몸무게 값이 들어오면 키를 예측하도록 만드는 것이 목표입니다. 좌표 평면에 점을 찍으면 흩어진 점들이 보이는데, 알고리즘이 하는 일은 이 점들 사이를 가장 잘 통과하는 하나의 직선을 긋는 것입니다.

여기서 핵심 개념이 잔차입니다. 데이터에 실제로 존재하는 점과 직선 위의 예측 점 사이의 거리를 말하며, 좋은 직선이란 이 거리들의 합이 가장 작은 직선입니다. 다만 강의자는 오차가 0이 되는 상황을 경계하라고 말합니다. 그것은 모델이 잘 맞은 것이 아니라 데이터에 지나치게 들어맞은 과적합 신호로 보아야 한다는 것입니다.

직선의 방정식은 중학교에서 배운 y = mx + c와 같아서, 기울기는 입력이 한 단위 늘 때 출력이 얼마나 변하는지를, 절편은 입력이 0일 때 만나는 지점을 뜻합니다. 마지막 두 개념은 비용 함수와 경사하강법입니다. 비용 함수는 예측값과 실제값의 차이를 제곱해 더한 뒤 데이터 개수로 나눈 값으로, 제곱은 음수 오차가 양수 오차와 상쇄되는 것을 막기 위한 장치입니다. 강의는 기울기를 1, 0.5, 0으로 바꿔가며 비용을 직접 계산해 아래로 볼록한 곡선을 그려 보이고, 경사하강법이 학습률과 기울기를 이용해 그 곡선의 가장 낮은 지점까지 내려가는 절차임을 설명합니다.

주요 인사이트

• 알고리즘을 외우기 전에 문제 유형을 분류하는 눈을 먼저 기르라는 것이 이 강의의 출발점이다. 회귀와 분류를 혼동하면 아무리 좋은 모델을 써도 방향 자체가 틀어진다.
• '회귀'라는 이름이 붙었다고 회귀 알고리즘인 것은 아니다. 로지스틱 회귀는 이름과 달리 분류에 쓰이므로 이름이 아니라 출력 형태로 판단해야 한다.
• 오차는 작을수록 좋지만 0은 좋은 신호가 아니다. 잔차가 완전히 사라졌다면 일반화가 아니라 과적합을 의심하는 것이 실무적 감각이다.
• 비용 함수에서 제곱을 쓰는 데에는 분명한 이유가 있다. 음수와 양수 오차가 서로 상쇄되는 것을 막고, 전체 오차를 하나의 값으로 요약해 비교할 수 있게 만든다.
• 경사하강법의 학습률은 한 걸음의 보폭에 해당한다. 기울기의 부호에 따라 파라미터를 늘리거나 줄이며 곡선의 가장 낮은 지점을 향해 반복적으로 접근한다.

자주 묻는 질문

관련 AI 소식