비율 추정량은 왜 편향을 그대로 두는가, 편향-분산 트레이드오프로 본 통계 실무 판단

핵심 메시지

• 추정량의 편향은 기댓값과 참값의 차이이며, 표본평균처럼 대부분의 입문 통계 추정량은 불편추정량이다.
• 표본분산의 편향은 n 대신 n-1로 나누면 사라지기 때문에, 편향이 늘 쉽게 보정된다는 오해를 부르는 예시다.
• 비율 추정량은 기댓값의 비가 비의 기댓값과 다르기 때문에 편향되지만, 편향 크기는 대략 1/n 규모로 표본이 커질수록 사라진다.
• 편향 보정 공식은 공분산과 분산을 추가로 추정해야 해서, 표본이 작을 때 오히려 분산을 키우는 역효과를 낸다.
• 약 800개 영상에서 10개를 뽑아 1만 번 반복한 시뮬레이션에서 편향은 약 0.9였던 반면 추정값은 30에서 160까지 흩어졌다.

쉽게 이해하기

추정량의 편향은 그 통계량의 기댓값과 참값의 차이로 정의된다. 모집단의 평균 키를 알고 싶을 때 사람들을 무작위로 뽑아 키를 평균 내면 그 값의 기댓값은 모평균과 같으므로 표본평균은 불편추정량이다. 입문 통계에서 만나는 추정량은 대체로 이런 식이라, 흥미로운 편향 사례를 찾기가 오히려 어렵다.

가장 흔히 인용되는 편향 사례는 표본분산이다. 가장 자연스러운 공식으로 모분산을 추정하면 참값을 조금 과소평가하기 때문에, 실무에서는 n 대신 n-1로 나눠 기댓값을 맞춘다. 영상은 이 예시가 좋은 예시가 아니라고 지적한다. 보정이 너무 간단해서, 편향이란 언제든 고칠 수 있는 것이라는 잘못된 인상을 남기기 때문이다.

비율 추정량은 사정이 다르다. 1인당 GDP나 영상의 조회수 대비 좋아요 비율처럼 우리가 관심 갖는 값 상당수가 비율이다. 두 기댓값의 비는 비의 기댓값과 같지 않고, 더 일반적으로는 확률변수를 함수에 넣은 값의 기댓값이 기댓값을 함수에 넣은 값과 다르다. 선형함수 같은 특수한 경우를 빼면 이 차이가 편향으로 남는다. 통계 교재와 위키백과에는 이 편향을 보정하는 여러 공식이 실려 있지만, 실무에서는 거의 쓰이지 않는다.

쓰지 않는 이유는 세 가지로 정리된다. 첫째, 편향의 크기가 대략 1/n 규모여서 표본이 커질수록 0에 수렴하는 점근적 불편추정량이다. 둘째, 보정 공식은 두 수를 나누는 원래 형태보다 훨씬 복잡하다. 셋째, 보정하려면 표본 공분산과 분산을 따로 추정해야 하는데 표본이 작으면 이 항의 분산이 매우 커진다. 표본을 키우면 이 문제가 줄지만, 그때는 애초에 편향을 보정할 필요도 사라진다.

마지막 시뮬레이션이 이 논리를 눈으로 보여 준다. 영상 제작자는 자신의 영상 수가 부족해 렉스 프리드먼 채널의 영상 약 800개를 전부 수집한 뒤, 그중 10개를 무작위로 뽑아 조회수 대비 좋아요 비율을 추정하는 실험을 1만 번 반복했다. 참값은 61.43이었고 추정량의 편향은 약 0.9로 음의 방향이었다. 반면 어떤 영상이 뽑히느냐에 따라 추정값은 30에서 160까지 흔들렸다. 표본을 20개, 40개로 늘리자 편향과 분산이 함께 줄었지만, 세 경우 모두 오차의 주범은 편향이 아니라 분산이었다.

주요 인사이트

• 편향을 없애는 것과 오차를 줄이는 것은 다른 목표다. 영상은 총 오차를 편향과 분산의 합으로 설명하면서, 우리가 원하는 것은 가장 불편한 추정량이 아니라 가장 정확한 추정량이라고 정리한다.
• 실무 판단의 기준은 편향의 존재 여부가 아니라 크기의 비교다. 편향 0.9와 30에서 160까지 흩어지는 분산을 나란히 놓으면 어디에 손을 대야 할지가 분명해진다.
• 보정 공식이 요구하는 추가 추정량이 새로운 불확실성을 들여온다는 점은 통계뿐 아니라 모델링 전반에 적용된다. 복잡도를 늘리는 선택에는 언제나 비용이 따른다.
• 오픈소스 패키지가 복잡한 공식을 대신 처리해 주는 오늘날에는 복잡도를 이유로 든 논거의 설득력이 약해졌다는 점을 영상 스스로 인정한다. 그래도 단순한 쪽이 낫다는 원칙은 유지한다.
• 조회수 대비 좋아요 비율처럼 인기도를 보정한 지표를 쓰면 규모가 다른 대상을 비교할 수 있다. 다만 표본이 작을 때 그 추정치를 얼마나 믿을지는 별개의 문제다.

자주 묻는 질문

관련 AI 소식