확률 분포로 보는 AI: 분류·생성·회귀·강화학습을 관통하는 사고법

핵심 메시지

• 우리의 일상 선택도 마음이 만든 확률 분포에서 가장 높은 확률의 선택지를 고르는 과정이다.
• 언어 모델의 토큰 생성은 결정론처럼 보이지만, 매 위치에서 가능한 토큰들의 확률 분포를 만들어 가장 높은 것을 뽑는 샘플링이다.
• 분류·생성·회귀·강화학습 등 AI의 여러 분야가 모두 확률 분포라는 하나의 언어로 설명된다.
• 평균 같은 숫자는 분포를 요약한 '손실 압축'일 뿐이며, 진짜 실체는 그 뒤의 분포다.
• 모델이 이상하게 굴 때는 '무슨 답을 냈나'가 아니라 '어떤 분포에서 뽑았고 그 분포가 왜 그렇게 생겼나'를 물어야 한다.

쉽게 이해하기

강연자는 확률과 확률 분포를 오랫동안 딱딱한 수학 개념으로만 여겼다가, IIT 마드라스의 한 교수와의 대화로 관점이 바뀌었다고 말한다. 그 교수는 세상 전체를 확률 분포로 바라봤다. 아침에 눈을 떠 내리는 여러 선택은, 마음이 각 선택지에 확률을 매긴 뒤 가장 높은 것을 고르는 과정이라는 것이다. 예를 들어 지도 앱 없이 목적지로 가는 세 경로가 있으면 마음은 각 경로에 확률을 부여하고, 새 정보가 들어오면 그 확률을 갱신한다.

이 관점은 AI에도 그대로 적용된다. 챗GPT에 '다섯 살에게 설명하듯 AI를 알려줘'라고 하면 토큰이 하나씩 순서대로 나온다. 이를 결정론적으로 볼 수도 있지만, 실제로는 모델이 매 위치에서 10만 개에 이르는 후보 토큰에 대한 확률 분포를 만들고 그중 가장 높은 것을 고르는 것이다. 목적지로 가는 최선의 경로를 고르는 것과 같은 구조다.

분포란 결국 '가능성들의 묶음에 각각 가중치가 붙은 것'이다. 주사위 각 면은 1/6, 내일 날씨는 비 올 확률 80%·맑을 확률 20% 식으로 표현된다. '평균 키 1.7m' 같은 숫자조차 전 세계 사람들의 키 분포에서 가장 밀집한 구간을 요약한 값이다. 즉 숫자는 요약이고 분포가 진실이며, 평균은 분포에 대한 손실 압축이다.

확률 분포는 AI 곳곳에 등장한다. 소프트맥스는 분류와 언어 모델 등에서 분포 위에 작동하며, 온도(temperature) 값을 바꾸면 각 토큰에 매겨지는 확률이 달라져 선택도 바뀐다. 이미지 분류도 '고양이 70%, 개 20%, 여우 8%…'처럼 클래스에 대한 분포다. 이미지 생성 역시 실제 이미지들이 사는 픽셀 공간의 분포를 학습한 뒤 거기서 샘플링하는 것이므로, 미드저니나 스테이블 디퓨전이 만든 모든 이미지는 분포에서의 샘플이다.

겉보기에 결정론 같은 회귀조차 확률적이다. 모델이 가격을 50만 달러라 예측하면, 실제로는 '50만 달러 부근일 가능성이 가장 높고 멀어질수록 낮아진다'는 뜻이다. 예측선 주위에 종 모양(가우시안) 분포를 가정하면, 평균제곱오차(MSE)를 최소화하는 것이 데이터를 가장 그럴듯하게 만드는 일과 같아진다. 즉 MSE는 임의의 선택이 아니라 가우시안을 수식으로 적었을 때의 모습이다. 강화학습에서도 에이전트는 정답 수를 계산하는 대신 가능한 행동들에 대한 분포(정책)를 두고 거기서 샘플링해 탐험한다.

결론적으로 언어, 양자 파동함수, 가격, 유전, 주사위까지 세상은 확정된 답이 아니라 가능성의 퍼짐으로 다가온다. 그래서 확률이 여러 과학의 공통 언어처럼 느껴진다. 약한 엔지니어는 모델을 '답을 내는 기계'로 보고 매번 답이 달라지는 데 놀라지만, 강한 엔지니어는 모든 답 뒤의 분포를 본다. 답이 달라지면 다시 샘플링한 것이고, 확신에 차 틀렸다면 분포의 봉우리가 엉뚱한 곳에 솟은 것이며, 출력이 널뛰면 샘플링 전에 분포를 평평하게 만든 것이다.

주요 인사이트

• 결정론적 사고는 편하지만, 분포적 사고는 어려운 대신 훨씬 강한 AI 엔지니어·연구자로 만들어 준다. 모델의 이상 행동도 분포로 보면 놀랄 일이 아니다.
• 소프트맥스라는 하나의 연산이 분류, 언어 모델, 여러 영역에 반복 등장하는 이유는 그것들이 모두 분포 위에서 작동하기 때문이다.
• 생성(텍스트·이미지·오디오·비디오)은 본질적으로 '학습한 분포에서 샘플링하기'다. 분포를 갖는 순간 무한히 많은 새 샘플을 만들 수 있다는 점이 생성 AI의 힘이다.
• 새 논문이나 뉴스에 압도되지 말고 소프트맥스·샘플링·정책 같은 이미 아는 멘탈 모델의 한 패턴으로 환원해 보라는 것이 이 강연의 실용적 조언이다.

자주 묻는 질문

관련 AI 소식