섀넌의 잡음 채널 부호화 정리, 채널 용량까지는 오류를 0에 가깝게 줄일 수 있다
잡음이 섞이는 통신에서 오류를 줄이려면 속도를 포기해야 한다는 직관은 틀렸다. 클로드 섀넌이 1948년에 증명한 채널 용량의 의미와, 반복 부호의 한계부터 그 마법 같은 결과에 숨은 조건까지 차례로 정리했다.
핵심 내용 읽기 →
AI TOPIC
섀넌 최신 뉴스와 핵심 해설
섀넌 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
압축은 곧 지능이다: 섀넌 정보이론·엔트로피와 거대언어모델 사전학습의 숨은 연결 고리
텍스트 압축의 한계는 어디일까? 1940년대 클로드 섀넌의 정보이론은 '예측과 압축은 수학적으로 같다'는 통찰을 낳았고, 이는 오늘날 거대언어모델 사전학습과 교차엔트로피 손실의 뿌리가 됐다. 정보와 엔트로피의 정의를 직접 따라가 본다.
핵심 내용 읽기 →