켈리 기준 쉽게 이해하기: 최적 베팅 비율 공식과 그 공식이 현실에서 무너지는 이유
확률을 아는 도박에서 자산 성장률을 최대로 만드는 켈리 기준을 동전 던지기 실험으로 풀어내고, 진짜 확률 대신 추정값을 공식에 넣는 순간 성과가 4분의 1로 떨어지는 현실의 한계까지 짚은 영상 해설.
핵심 내용 읽기 →
AI TOPIC
정보이론 최신 뉴스와 핵심 해설
정보이론 관련 핵심 뉴스와 활용 인사이트 8편을 최신순으로 모았습니다.
섀넌의 잡음 채널 부호화 정리, 채널 용량까지는 오류를 0에 가깝게 줄일 수 있다
잡음이 섞이는 통신에서 오류를 줄이려면 속도를 포기해야 한다는 직관은 틀렸다. 클로드 섀넌이 1948년에 증명한 채널 용량의 의미와, 반복 부호의 한계부터 그 마법 같은 결과에 숨은 조건까지 차례로 정리했다.
핵심 내용 읽기 →
정보의 속도 한계와 양자컴퓨터: 이진 탐색과 섀넌 엔트로피로 이해하는 log₂n의 벽
예/아니오 질문 하나로 얻을 수 있는 정보는 최대 1비트다. 양자컴퓨터조차 이 한계를 넘지 못한다면 대체 무엇이 다른 걸까. 동전 두 개와 자석을 쓴 사고 실험으로 고전 컴퓨터와의 차이를 설명한 강의를 정리했다.
핵심 내용 읽기 →
KL 발산이 대칭이 아닌 이유: 샐러드와 동전 예시로 이해하는 확률분포 사이의 거리
KL 발산은 두 확률분포 사이의 거리처럼 쓰이지만 P와 Q의 순서를 바꾸면 값이 달라진다. 샐러드와 토마토, 조작된 동전 예시를 통해 방향에 따라 놀라움의 크기가 왜 달라지는지 직관적으로 풀어봤다.
핵심 내용 읽기 →
크로스 엔트로피 쉽게 이해하기: 압축, 엔트로피, 그리고 언어 모델 학습 손실함수의 연결
3Blue1Brown이 gzip 압축만으로 언어 계통을 찾아낸 2002년 연구에서 출발해, 크로스 엔트로피가 무엇이며 왜 대규모 언어 모델의 학습 손실함수로 쓰이는지를 직관적으로 설명하고, 압축과 학습 사이의 숨은 연결까지 짚어 본다.
핵심 내용 읽기 →
우주 신호의 지능을 가려내는 필터: 지프의 법칙과 섀넌 엔트로피, 그리고 대규모 언어모델
우주에서 온 신호가 지적 존재에게서 왔는지 판별하는 '지능 필터'를 지프의 법칙과 섀넌 엔트로피로 설명하고, 그 정보이론 아이디어가 오늘날 대규모 언어모델과 미지 신호 해석으로 이어진 과정을 정리했습니다.
핵심 내용 읽기 →
KL 발산 직관적 이해: 두 분포의 차이를 재는 공식을 비대칭성부터 직접 유도하기
두 확률분포의 차이를 재는 KL 발산을 외우는 공식이 아니라 문제에서 출발해 직접 만들어본다. 비대칭성, 로그 변환이 필요한 이유, 현재 분포 확률로 가중하는 까닭까지 단계별로 유도하고 데이터 과학 활용까지 정리했다.
핵심 내용 읽기 →
압축은 곧 지능이다: 섀넌 정보이론·엔트로피와 거대언어모델 사전학습의 숨은 연결 고리
텍스트 압축의 한계는 어디일까? 1940년대 클로드 섀넌의 정보이론은 '예측과 압축은 수학적으로 같다'는 통찰을 낳았고, 이는 오늘날 거대언어모델 사전학습과 교차엔트로피 손실의 뿌리가 됐다. 정보와 엔트로피의 정의를 직접 따라가 본다.
핵심 내용 읽기 →