켤레 사전분포(Conjugate Prior)란? 베타-이항 예시로 보는 베이즈 통계 핵심

핵심 메시지

• 켤레 사전분포란 사전분포와 사후분포가 같은 분포 형태를 갖게 만드는 사전분포를 뜻한다.
• 이항 분포를 가능도로 쓸 때 베타 분포를 사전분포로 고르면 사후분포도 베타 분포가 된다.
• 베타 분포의 알파·베타는 '가짜 성공'과 '가짜 실패' 횟수로 해석되며, 관측 데이터의 성공·실패가 여기에 더해진다.
• 켤레성의 진짜 가치는 계산 편의보다, 사전분포와 사후분포를 같은 언어로 비교하는 '해석 가능성'에 있다.

쉽게 이해하기

발표자는 호수 건너 섬으로 물수제비 돌을 던지는 이야기로 시작한다. 돌이 섬에 닿을 확률 P를 베이즈 통계로 모델링하려는 것이다. 각 던지기는 성공(1) 또는 실패(0)인 이진 변수이고, 여러 번의 시도 중 성공 횟수를 다룬다는 점에서 가능도는 자연스럽게 이항 분포가 된다.

다음으로 사전분포를 정한다. 모델링하려는 대상 P가 0과 1 사이의 확률이므로, 같은 0~1 구간에서 정의되는 베타 분포가 매우 자연스러운 선택이다. 베타 분포의 두 하이퍼파라미터 알파와 베타는 데이터를 보기 전의 사전 믿음을 인코딩하며, 알파-1은 가짜 성공, 베타-1은 가짜 실패 횟수로 해석된다.

베이즈 정리에 따라 사후분포는 사전분포와 가능도의 곱에 비례한다. 베타 분포와 이항 분포의 식을 대입하면, P와 무관한 상수(이항계수, 베타 함수)는 밖으로 빠지고 P에 관련된 항만 남는다. 지수 법칙으로 같은 밑의 지수를 더하면 사후분포가 정리된다.

정규화 상수를 구하려고 적분을 수행하면, 그 적분이 바로 인자가 알파+k, 베타+(n-k)인 베타 함수의 형태임을 알게 된다. 결국 사후분포 역시 알파+k, 베타+(n-k)를 파라미터로 갖는 베타 분포가 된다. 이것이 영상이 강조하는 '아하' 순간이다.

여기서 베타 분포의 해석이 빛난다. 사전에 가졌던 가짜 성공·실패에, 관측한 실제 성공 k와 실패 n-k가 그대로 더해지는 구조이기 때문이다. 데이터가 많으면 k와 n-k가 지배해 증거가 결과를 이끌고, 사전 믿음이 강하면(알파·베타가 크면) 사전분포가 결과를 좌우한다.

주요 인사이트

• 켤레성은 베이즈 통계가 '깨지지' 않으면 성립하지 않아도 되는 성질이다. 다만 성립할 때 분석이 훨씬 깔끔하고 해석하기 쉬워진다.
• 알파와 베타의 '비율'은 어떤 확률값이 그럴듯한지를, '크기(magnitude)'는 그 사전 믿음을 얼마나 강하게 고수할지를 인코딩한다.
• 계산 편의(닫힌 형태)는 컴퓨팅 파워가 풍부한 오늘날 덜 중요하다. 발표자가 더 중시하는 것은 사전과 사후를 같은 형태로 두고 '사과 대 사과'로 비교할 수 있다는 점이다.
• 베타-이항은 하나의 예시일 뿐이며, 특정 가능도에 대응하는 켤레 사전-사후 분포의 표가 이산·연속을 아울러 폭넓게 존재한다.

자주 묻는 질문

관련 AI 소식