딥 빌리프 네트워크(DBN)란? AI 겨울을 끝낸 힌튼의 2006년 발상과 사전학습의 기원

핵심 메시지

• 1969년 퍼셉트론이 XOR 같은 단순한 패턴조차 풀지 못한다는 사실이 밝혀지면서 신경망 연구는 30년 넘게 정체됐다
• 제프리 힌튼은 망 전체를 한 번에 학습시키려는 시도 대신 제한된 볼츠만 머신(RBM)이라는 기본 부품부터 다시 설계했다
• 층을 하나씩 학습하고 고정한 뒤 그 출력을 다음 층의 교재로 삼는 '탐욕적' 층별 학습이 깊은 망을 실제로 쌓게 만들었다
• MNIST 손글씨 인식에서 오류율 1.25%를 기록해 당시 최강자였던 SVM의 1.4%를 넘어섰다
• 정답 없는 데이터로 먼저 학습한 뒤 특정 과제에 맞춰 조정하는 사전학습 방식은 오늘날 GPT 계열 모델까지 이어졌다

쉽게 이해하기

1969년부터 2006년까지 신경망 연구는 사실상 멈춰 있었다. 아이디어 자체는 매력적이었지만 잠재력을 끌어낼 방법을 아무도 몰랐고, 연구비는 끊겼으며 인재들은 다른 분야로 옮겨갔다. 영상은 이 시기를 'AI 겨울'로 부르며, 분야 전체를 주저앉힌 계기가 의외로 단순한 문제 하나였다고 짚는다.

그 문제가 바로 XOR이다. 초기 신경망인 퍼셉트론은 이 패턴을 하나의 직선으로 나눌 수 없었다. 체스판의 검은 칸과 흰 칸을 직선 하나로 구분할 수 없는 것과 같은 상황으로, 전문 용어로는 선형 분리가 불가능한 경우다. 층을 더 쌓으면 된다는 생각은 있었지만, 학습 신호가 깊은 층으로 갈수록 희미해지는 기울기 소실, 당시 컴퓨터로는 감당 못 할 계산량, 초기값에 따라 결과가 요동치는 불안정성이 겹쳐 깊은 망은 이론상으로만 가능한 영역으로 남았다.

힌튼의 접근은 문제 자체를 다시 정의하는 것이었다. 그는 망의 기본 벽돌인 제한된 볼츠만 머신에서 출발했다. 원래 볼츠만 머신은 모든 노드가 서로 연결돼 있어 계산이 불가능할 만큼 복잡했는데, 같은 층 안의 연결을 끊는 '제한'을 걸자 오히려 계산이 극적으로 효율화됐다. 게다가 이 부품은 정답을 맞히는 판별 모델이 아니라 데이터를 이해해 스스로 새로운 것을 만들어내는 생성 모델이었다.

쌓는 방법도 새로웠다. 1층을 데이터로 학습시킨 뒤 그대로 고정하고, 1층이 내놓은 결과를 2층의 학습 자료로 쓰는 식으로 층을 레고 블록처럼 하나씩 올렸다. 여기에 '설명 제거'라는 마지막 관문이 있었다. 집이 흔들릴 때 지진과 대형 트럭이라는 두 가설이 떠오르지만 지진 속보를 보는 순간 트럭 가능성이 사라지듯, 확실한 원인 하나가 나타나면 경쟁 가설이 힘을 잃는 현상이다. 힌튼은 경쟁하는 설명들이 서로를 깎아내리는 대신 서로를 돕게 만드는 방식으로 이 문제를 풀었다.

결과는 숫자로 증명됐다. MNIST 손글씨 숫자 인식에서 오류율 1.25%를 기록하며 당시 챔피언이던 SVM의 1.4%를 앞섰다. 더 놀라운 건 이 망이 거꾸로 작동해 스스로 숫자를 그려낼 수 있었다는 점으로, 모양을 외운 게 아니라 '2라는 개념'을 이해했다는 증거로 받아들여졌다. 모델 자체는 오늘날 거의 쓰이지 않지만, 정답 없는 데이터로 먼저 공부하고 나중에 특정 시험에 맞춰 조정하는 사전학습·미세조정 패러다임은 현재 최전선 AI에 그대로 살아 있다.

주요 인사이트

• 분야 전체를 멈춰 세운 것은 거대한 난제가 아니라 XOR이라는 단순한 패턴이었다. 근본 가정이 틀리면 문제의 크기와 무관하게 발전이 멈춘다는 사례다.
• '제한'이 성능을 깎는 대신 성능을 살렸다. 같은 층의 연결을 끊는 제약이 계산 가능성을 만들어냈다는 점은, 자유도를 줄이는 설계가 오히려 문제를 푸는 열쇠가 될 수 있음을 보여준다.
• 전체를 한 번에 학습시키려다 실패한 문제를 층 단위로 쪼개 순차적으로 해결한 것이 돌파구였다. 학습을 단계로 분해하는 전략은 지금도 유효하다.
• DBN의 진짜 유산은 모델 구조가 아니라 사전학습이라는 아이디어다. 레이블 없는 데이터로 세상의 구조를 먼저 익히는 방식이 GPT 같은 현재 모델의 출발점이 됐다.
• 생성 능력이 곧 이해의 증거로 쓰였다. 숫자를 직접 그려낼 수 있다는 사실이 모델이 개념을 파악했다는 근거가 됐고, 이는 오늘날 생성 모델 평가 관점의 원형에 가깝다.

자주 묻는 질문

관련 AI 소식