표준편차와 표준오차의 차이: 데이터의 흩어짐과 평균 추정의 정밀도, 그리고 루트 n 관계

핵심 메시지

• 표준편차는 개별 데이터가 평균에서 얼마나 떨어져 있는지를 나타내며, 데이터를 더 모아도 줄어들지 않는다.
• 표준오차는 표본평균들이 참평균 주위에 얼마나 촘촘히 모이는지를 나타내며, 데이터가 많아질수록 작아진다.
• 표준오차는 시그마를 표본 크기 n의 제곱근으로 나눈 값, 즉 sigma/√n 이다.
• 오차를 절반으로 줄이려면 데이터를 두 배가 아니라 네 배로 늘려야 한다.
• 두 값은 '개인은 얼마나 다른가'와 '평균을 얼마나 정확히 아는가'라는 서로 다른 질문에 답한다.

쉽게 이해하기

영상은 100명의 키를 측정한 상황을 예로 든다. 같은 데이터, 같은 단위(cm)에서 두 개의 '흩어짐' 값을 계산할 수 있는데, 하나는 '사람마다 평균에서 약 7cm 다르다'고 말하고 다른 하나는 '그 평균 추정치가 약 0.7cm 오차로 정확하다'고 말한다. 같은 데이터인데 값이 열 배나 차이 난다. 앞의 것이 표준편차, 뒤의 것이 표준오차다.

표준편차(시그마)는 데이터 자체를 설명한다. 개별 값이 평균에서 얼마나 떨어져 있는지를 나타내는 전형적인 거리다. 흔히 오해하는 지점은 데이터를 더 많이 모으면 이 값이 줄어들 것이라는 생각이다. 그러나 데이터가 늘면 히스토그램은 모집단의 매끈한 형태로 채워질 뿐, 폭 자체는 줄지 않는다. 시그마는 표본 크기가 아니라 세상에 관한 사실이기 때문이다.

그렇다면 무엇이 줄어드는가. 실험 전체를 반복한다고 상상해 보자. 매번 새로운 집단을 뽑아 하나의 표본평균으로 압축하면, 이 평균값들이 또 하나의 분포(표집분포)를 이룬다. 이 분포가 참평균 주위에 모이는 정도의 폭이 바로 표준오차다. 핵심은 표준오차가 데이터의 흩어짐이 아니라 '표본평균이라는 절차'의 흩어짐이라는 점이다.

이 촘촘함은 독립인 값들의 분산이 더해진다는 사실에서 나온다. n개의 측정을 합한 분산은 n배의 시그마 제곱이지만, 표본평균은 그 합을 n으로 나눈다. 분산은 제곱으로 스케일되므로 평균의 분산은 시그마 제곱을 n으로 나눈 값이 되고, 제곱근을 취하면 평균의 표준편차, 곧 표준오차는 sigma/√n 이 된다.

제곱근 n이 하는 일은 분명하다. 데이터 분포는 늘 같은 시그마로 고정돼 있지만, 표집분포는 표본이 100개일 때 표준오차 0.7cm, 400개일 때 약 0.35cm로 점점 날카로워진다. 다만 함정은 제곱근에 숨어 있다. 오차를 절반으로 줄이려면 데이터가 두 배가 아니라 네 배 필요하다. 정밀도는 빠르게 비싸진다.

주요 인사이트

• 표준편차는 세상이 정해 주는 값이라 표본을 아무리 늘려도 고정된 시그마로 수렴할 뿐 0이 되지 않는다.
• 표준오차는 '평균을 얼마나 정확히 아는가'에 대한 답이며 데이터가 쌓일수록 작아진다.
• sigma는 표준편차, sigma 제곱은 분산이라는 기호 구분을 놓치면 바로 계산이 어긋난다.
• 제곱근 n 때문에 정밀도를 높이는 비용은 선형이 아니라 제곱으로 늘어난다.
• 데이터를 더 모아도 사람들이 서로 더 비슷해지지는 않는다. 다만 그들의 평균을 더 확신하게 될 뿐이다.

자주 묻는 질문

관련 AI 소식