1종 오류와 2종 오류의 차이, 유의수준과 검정력으로 다시 읽는 통계 검정 결과 해석법

핵심 메시지

• 유의수준 알파는 데이터를 한 개도 모으기 전에 사람이 선언하는 값이고, 2종 오류율 베타는 구체적인 효과 크기를 지목해야만 계산할 수 있다.
• 그래서 논문과 대시보드에는 p값이 늘 찍히지만 검정력은 거의 찍히지 않는다.
• 허위 경보가 무서워 기준선을 오른쪽으로 밀면 알파는 조금 줄지만 놓칠 확률은 훨씬 크게 늘어난다.
• 표본을 네 배로 늘리면 두 분포 사이 거리가 두 배가 되어 두 오류를 모두 줄일 수 있고, 이것이 유일한 탈출구에 가깝다.
• 같은 데이터에서 검정을 여럿 돌리면 허위 경보 확률이 누적되고, 기준을 나눠 보정하면 이번에는 검정력이 무너진다.

쉽게 이해하기

통계 수업은 늘 같은 네 칸짜리 표를 그린다. 아무 일도 없는데 있다고 말하는 칸과, 실제로 있는데 지나쳐 버린 칸이 나란히 놓이고 1종 오류와 2종 오류라는 이름이 붙는다. 영상은 이 둘이 결코 같은 종류가 아니며, 그 차이를 이해하는 것이 통계 검정의 거의 전부라고 말한다.

설명은 결제 버튼 색을 바꾸는 가장 단순한 실험으로 이어진다. 아무 효과도 없다는 귀무가설은 공정해서가 아니라 예측을 만들 만큼 구체적인 유일한 가설이기 때문에 출발점이 된다. 관측된 차이를 표준오차로 나누면 0을 중심으로 퍼짐이 1인 종 모양 분포가 되고, 오른쪽 꼬리 5%가 남도록 선을 그으면 그 지점이 1.645다. 이 값은 데이터 없이도, 실제 효과를 몰라도, 검정을 돌리지 않고도 계산된다.

같은 방법을 반대쪽 오류에 적용하려 하면 곧바로 막힌다. 실제 효과가 있는 세상에서 통계량이 선에 못 미칠 확률을 구하려면 그 세상의 분포가 어디 있는지 알아야 하는데, '효과가 0이 아니다'라는 흔한 대립가설은 위치를 알려 주지 않는다. 효과 크기를 소리 내어 지목해야 두 번째 종 모양이 생기고, 그제야 베타가 계산된다. 대립가설이 표준오차 세 개만큼 떨어져 있다면 놓칠 확률은 약 9%지만, 효과가 작아지면 두 분포가 겹치며 이 값은 빠르게 커진다.

허위 경보를 줄이려고 선을 오른쪽으로 밀면 무슨 일이 벌어지는지도 숫자로 보여 준다. 알파를 5%에서 1%로 조이면 허위 경보는 4%포인트 줄지만 놓칠 확률은 16%포인트 늘고, 천분의 일까지 조이면 실제 효과를 54%나 놓친다. 세상은 조금도 달라지지 않았고 관측을 더 모은 것도 아닌데, 엄격해 보이려던 기준이 검정을 동전 던지기보다 못하게 만든 셈이다.

영상이 진짜 겨냥하는 문장은 '유의미한 차이 없음'이다. 두 팀이 같은 버튼을 같은 유의수준으로 검정했고 버튼은 실제로 조금 도움이 된다고 하자. 적은 트래픽을 며칠 돌린 팀에게 그 효과는 표준오차 하나 크기이고 검정력은 26%다. 열여섯 배의 트래픽을 한 달 돌린 팀에게는 표준오차가 4분의 1로 줄어 같은 효과가 네 개 크기가 되고 검정력은 99%다. 두 팀은 똑같은 문장을 적고 둘 다 틀렸지만, 그렇게 틀릴 자격이 있었던 쪽은 한 팀뿐이다.

탈출구는 있다. 데이터를 늘려도 알파는 그대로지만 두 분포 사이 거리는 벌어진다. 표본을 네 배로 늘리면 거리가 두 배가 되고, 선을 두 분포의 정확히 가운데 두면 두 오류가 같은 값으로 맞춰지며 둘 다 크게 줄어든다. 다만 검정을 여럿 돌리는 순간 알파는 검정마다 붙는 비율이라 누적된다. 아무 일도 없는 데이터에서 스무 번 검정하면 최소 한 번 불이 들어올 확률이 64%이고, 기준을 20으로 나눠 보정하면 이번에는 같은 대립가설에 대한 검정력이 91%에서 58%로 주저앉는다.

결국 0.05는 어디서 유도된 값이 아니라 굳어진 관습이며, 아무 생각 없이 받아들이는 것은 허위 경보 쪽만 평생 피하겠다고 선언하는 일이라는 것이 결론이다. 신약 허가처럼 잘못된 통과의 대가가 큰 경우에는 알파를 조이는 것이 정당하지만, 대신 효과가 있는 약이 작은 시험에서 사장될 위험을 사는 것임을 밝혀야 한다. 반대로 드문 구조물 파손을 감시할 때는 헛경보 비용이 점검 한 번이므로 베타를 최대한 낮추는 편이 옳다. 값싼 1차 선별은 느슨한 기준으로, 비싼 확인 검사는 촘촘한 기준으로 돌리는 2단계 설계도 대안으로 제시된다.

주요 인사이트

• 알파는 관측하기 전에 사람이 하는 약속이고 베타는 그 약속의 결과로 물려받는 값이다. 이 비대칭이 두 오류를 나란히 놓는 표의 인상과 정반대라는 점이 핵심이다.
• 검정력은 검정에 딸린 하나의 숫자가 아니라 효과 크기마다 값이 다른 곡선이다. 실제 효과가 0일 때 검정력이 0이 아니라 알파와 같아진다는 사실이 그 정의를 그대로 보여 준다.
• 부정적 결과는 효과가 없다는 말이 아니라, 있다 해도 이 표본으로는 볼 수 없을 만큼 작았다는 말이다. 그 '얼마나 작은지'는 대개 아무 보고서에도 적혀 있지 않다.
• 데이터를 늘려도 허위 경보율은 줄지 않는다. 표본 크기가 움직이는 것은 대립가설 쪽 분포이며, 표준오차가 표본 크기 제곱근에 반비례한다는 성질이 양날의 검처럼 작동한다.
• 다중 검정 보정은 공짜가 아니다. 한 번의 비교에 맞춰 설계된 연구가 스무 번의 비교로 늘어나는 순간, 데이터를 한 줄도 건드리지 않았는데 검정력 미달 연구가 된다.

자주 묻는 질문

관련 AI 소식