R² 결정계수의 진짜 의미와 함정: 상관계수 제곱인 이유부터 잔차 그래프 확인법까지

핵심 메시지

• R²는 1에서 잔차제곱합을 총제곱합으로 나눈 값을 뺀 수치인데, 분모인 총제곱합은 모델과 아무 상관이 없고 '평균선'이라는 한 가지 상대와의 비교일 뿐이다.
• 예측변수 하나에 절편이 있는 최소제곱 회귀에서 R²는 피어슨 상관계수의 제곱과 완전히 같은 수식으로 정리된다.
• 1973년 앤스컴이 만든 네 개의 데이터셋은 평균·분산·상관계수(0.82)가 모두 같아 R²도 0.67로 동일하지만, 그래프를 그리면 전혀 다른 모양이다.
• 예측변수를 아무거나 더하면 R²는 결코 줄지 않으며, 난수 열만 계속 붙여도 데이터 개수만큼 변수를 채우는 순간 R²는 1이 된다.
• 학습 데이터 밖으로 나가면 R²는 음수가 될 수 있고, 이는 오류가 아니라 '차라리 평균을 예측하는 편이 나았다'는 신호다.

쉽게 이해하기

논문에도, 발표 슬라이드에도, 심지어 모델을 배포할지 결정하는 자리에도 R² 하나가 조용히 올라간다. 그런데 이 숫자가 정확히 무엇을 재는지 물으면 '모델이 얼마나 잘 맞는지', '분산을 얼마나 설명하는지' 같은 흐릿한 답이 돌아온다. 영상은 이 값을 두 조각으로 분해하면서, 그중 한쪽만이 모델과 관계있다는 점을 출발점으로 삼는다.

먼저 X를 전혀 모른다고 가정하면 Y를 예측하는 가장 합리적인 값은 평균이다. 평균은 제곱거리 합을 최소화하는 상수이기 때문이다. 이때 각 점에서 평균선까지의 수직거리를 제곱해 더한 값이 총제곱합(SStot)이고, 회귀선까지의 거리를 같은 방식으로 더한 값이 잔차제곱합(SSres)이다. R²는 이 둘의 비율일 뿐이므로, 결국 '평균선이라는 상대를 얼마나 이겼는가'를 이 표본에서만 측정한 점수다.

절편이 있는 최소제곱 적합에서는 각 점의 세로 간격이 '모델이 남긴 오차'와 '모델이 평균에서 벗어난 거리' 두 조각으로 정확히 쪼개지고, 교차항이 사라지면서 SStot = SSres + SSreg가 성립한다. 여기서 대수 계산을 조금 더 밀고 나가면 R²는 SXY²/(SXX·SYY)가 되는데, 이는 피어슨 상관계수를 제곱한 식과 글자 그대로 같다. 결정계수와 상관계수는 이름만 두 개인 하나의 숫자였던 셈이다.

상관계수가 직선 정렬만 보는 지표라면, 그 제곱인 R² 역시 직선 밖의 구조를 볼 어휘가 없다. 앤스컴의 네 데이터셋은 이 한계를 논쟁의 여지 없이 보여준다. 노이즈가 섞인 직선, 깔끔한 포물선, 이상치 하나에 기울어진 직선, 한 점이 기울기를 통째로 결정하는 수직 더미 — 완전히 다른 네 상황이 모두 R² 0.67로 채점된다.

게다가 분모는 실험 설계에 따라 달라진다. 영상은 Y = X + 노이즈라는 동일한 모델과 동일한 노이즈를 쓰면서 X를 뽑는 구간만 바꿔 보인다. 잔차 크기도, 추정된 기울기도 사실상 그대로인데 구간을 0~10으로 넓히자 R²는 0.89까지 올라간다. 서로 다른 데이터셋의 R²를 비교하는 일이 거의 무의미한 이유다.

주요 인사이트

• R²를 오차 감소량으로 환산하면 인상이 크게 달라진다. 전형적 오차는 Y의 표준편차에 √(1−R²)를 곱한 값이라, SAT와 IQ의 상관 0.72(R² 0.52)는 '분산의 절반 설명'처럼 들리지만 실제 오차는 15에서 10.4로 약 31% 줄어드는 데 그친다.
• 예측변수를 추가하면 기존 적합이 계수 0인 채로 더 큰 후보 집합 안에 그대로 남기 때문에, 최소 잔차제곱합은 절대 커질 수 없다. R²가 오른다는 사실 자체는 학습의 증거가 되지 못한다.
• 조정된 R²(adjusted R²)는 각 제곱합을 남은 독립 정보량으로 나눠 변수 추가에 벌점을 주지만, 개별 데이터셋에서는 약한 필터에 불과하다. 아무 쓸모 없는 변수도 표준오차 하나만큼만 유용해 보이면 통과하며, 실제로 약 3분의 1의 확률로 조정된 R²를 올린다.
• R²가 0 아래로 내려가지 않는 것은 절편 있는 적합에서 평균선 자체가 후보에 포함되기 때문일 뿐이다. 학습에 쓰지 않은 데이터로 넘어가면 이 보장은 사라지고, 영상의 예시에서는 왼쪽 절반에서 0.58이던 값이 오른쪽으로 확장하자 −0.67이 된다.
• 결론은 숫자 대신 그림이다. 적합값 대비 잔차를 그리면 정직한 선형 적합에서는 0 주변의 형태 없는 구름이 나오지만, 앤스컴의 포물선은 같은 R² 0.67에서도 가운데가 양수이고 양끝이 음수인 뚜렷한 호를 그린다.

자주 묻는 질문

관련 AI 소식