95% 신뢰구간의 뜻과 가장 흔한 오해: 신뢰구간과 베이지안 신용구간의 결정적 차이

핵심 메시지

• '참값이 이 구간 안에 있을 확률이 95%'라는 읽기는 반올림 수준의 실수가 아니라 아예 다른 대상을 가리키는 주장이다.
• 빈도주의 틀에서는 모수가 고정된 미지의 값이고 데이터가 무작위다. 따라서 무작위로 움직이는 것은 구간의 양 끝이지 참값이 아니다.
• 일단 숫자를 대입해 1.04부터 4.96까지라는 구간이 나오면, 참값이 그 안에 있다는 진술은 참 아니면 거짓일 뿐 95%가 붙을 자리가 없다.
• 동전을 던져 앞면이면 수직선 전체를, 뒷면이면 공집합을 답하는 절차도 정확히 95% 포함률을 갖는다. 포함률이 완벽해도 개별 답이 무의미할 수 있다는 뜻이다.
• '참값이 95% 확률로 여기 있다'고 말하고 싶다면 사전 믿음을 밝히고 베이지안 신용구간을 써야 한다. 그 대가로 답이 사전 분포에 따라 달라진다.

쉽게 이해하기

예시는 단순하다. 학생 36명을 대상으로 개선된 교수법을 시험했더니 점수가 평균 3점 올랐고, 95% 신뢰구간은 1.04에서 4.96으로 보고됐다. 거의 모두가 이 문장을 '실제 효과가 1과 5 사이에 있을 확률이 95%'로 읽는다. 그런데 95라는 숫자는 분명히 어딘가에서 나왔고 아주 구체적인 뜻이 있다. 그 뜻이 참값의 위치가 아니라면 무엇이 그 95를 떠받치고 있는지가 이 영상의 질문이다.

출발점은 맨 처음의 선택 하나다. 이 틀에서 참 평균 효과는 고정된 숫자이며 우리가 모를 뿐이다. 모른다는 것과 무작위라는 것은 다르다. 실험을 다시 하면 달라지는 쪽은 참값이 아니라 표본이다. 다른 36명이 들어오고 점수가 달라지고 표본 평균이 다른 곳에 찍힌다. 구간은 그 표본 평균에서 일정 폭을 더하고 빼서 만들어지므로, 무작위성은 고스란히 구간의 양 끝에 상속된다.

실험을 100번 반복해 구간 100개를 가로 막대로 쌓아 보면 그림이 분명해진다. 막대는 표본마다 다른 자리에 놓이고, 참값을 나타내는 세로선은 한 번도 움직이지 않는다. 그 선을 가로지르는 막대가 대략 95개다. 이것이 95%의 전부다. 반복 실험에서 참값을 잡아내는 구간의 비율, 즉 방법의 성질이지 화면 위 특정 막대의 성질이 아니다.

오해가 자연스럽게 느껴지는 이유는 중간에 끼어드는 대수 조작에 있다. 중심극한정리로 표본 평균에서 참값을 빼고 표준오차로 나눈 값이 표준정규를 따르며, 그 값이 ±1.96 사이에 놓일 확률이 약 95%다. 여기서 부등식을 이리저리 옮기면 참값이 가운데로 나온다. 하지만 부등식을 정리하는 일은 기호의 자리를 옮길 뿐 무작위성을 옮기지는 않는다. 앞에서도 뒤에서도 무작위인 것은 표본 평균 하나뿐이다.

포함률이 완벽해도 개별 답이 쓸모없을 수 있다는 점은 일부러 우스꽝스럽게 만든 절차로 드러난다. 데이터를 아예 무시하고, 95% 확률로 앞면이 나오는 동전을 던져 앞면이면 수직선 전체를, 뒷면이면 공집합을 답한다. 수직선 전체는 무조건 참값을 포함하고 공집합은 절대 포함하지 않으므로 포함률은 정확히 95%다. 그런데 받아 든 답이 수직선 전체라면 확신은 95%가 아니라 100%이고, 공집합이라면 0%다.

덜 극단적인 반례도 있다. 오차가 ±0.5미터 균등분포인 거리계로 두 번 재고 두 값 사이를 구간으로 삼으면, 참값을 잡을 확률은 정확히 50%인 정직한 신뢰구간이 된다. 그런데 두 측정값이 0.5미터보다 멀리 떨어져 나오면 참값은 확실히 그 사이에 있다. 두 측정값의 간격을 기준으로 묶어 보면 포함 비율이 11%부터 100%까지 갈린다. 50이라는 숫자는 그 가족 전체의 평균일 뿐이고, 데이터는 내가 지금 어느 구성원을 들고 있는지 알려준다.

사람들이 하고 싶어 하는 문장을 쓰려면 값을 치러야 한다. 참값이 확률 분포를 가질 수 있는 대상이어야 하고, 그러려면 데이터 이전의 믿음을 먼저 밝혀야 한다. 그렇게 얻은 사후 분포에서 95% 넓이를 잘라낸 것이 신용구간이며, 여기서는 그 문장이 그대로 옳다. 혼동이 질긴 이유는 평평한 사전 분포를 쓰면 신용구간이 1.04에서 4.96으로 신뢰구간과 자릿수까지 똑같이 나오기 때문이다. 반대로 효과가 0 근처일 것이라 믿는 사전 분포를 넣으면 구간은 0.11에서 2.89로 옮겨간다.

주요 인사이트

• 신뢰구간의 폭이 좁은 것은 개인차가 작아서가 아니라 표본 평균이 안정적이기 때문이다. 폭은 우리가 관심 있는 집단이 아니라 공식 안에서 무작위인 양에 대해 말한다.
• '학생 100명 중 95명이 1~5점 오른다'는 두 번째 오해도 흔한데, 이는 개인 관측값을 담는 훨씬 넓은 구간이다. 평균의 구간은 표본이 커지면 0으로 줄지만 개인의 구간은 약 두 표준편차에서 멈춘다.
• 신뢰구간의 정확한 정의는 '이 데이터로 기각되지 않는 모수 값들의 목록'이다. 후보값마다 표본 평균이 몇 표준오차 떨어져 있는지 재서 1.96을 넘으면 버리는 검정을 전 구간에 돌리면 정확히 그 구간이 나온다.
• 목록은 분포가 아니므로 구간의 가운데가 가장자리보다 더 그럴듯하다고 말해주지 않는다. 이것은 결함이 아니라 그 대상의 성질이다.
• 신뢰구간은 표본추출 오차만 반영한다. 표본이 편향됐거나 측정 장비가 틀어져 있으면 엉뚱한 값 주위에 안심되도록 좁은 구간이 생기고, 그 사실은 구간만 봐서는 알 수 없다.

자주 묻는 질문

관련 AI 소식