얀 르쿤: LLM 추론이 원시적인 이유와 에너지 기반 모델·JEPA로 본 다음 세대 AI

핵심 메시지

• 현재 LLM의 추론은 원시적이다. 질문의 난이도와 상관없이 토큰당 쓰는 연산량이 일정하기 때문이다.
• 사람은 어려운 문제에 더 오래 생각한다. 심리학의 '시스템 1과 2'처럼, 즉각적 반응과 숙고하는 계획은 다르다.
• 르쿤은 미래의 대화 시스템이 답을 텍스트로 내기 전에 추상 표현 공간에서 최적화를 통해 답을 '계획'할 것이라고 본다.
• 그 바탕은 답이 질문에 얼마나 들어맞는지를 하나의 점수로 매기는 '에너지 기반 모델'이며, 연속 공간에서 경사 기반 추론으로 답을 다듬는다.

쉽게 이해하기

얀 르쿤은 현재 대형 언어 모델의 추론이 매우 원시적이라고 말한다. 근거는 토큰 하나를 만들 때 쓰는 연산량이 일정하다는 점이다. 예측 신경망의 크기에 생성 토큰 수를 곱한 만큼만 계산이 이뤄지므로, 질문이 쉽든 어렵든, 심지어 답이 불가능한 문제든 답에 쏟는 연산량은 답의 토큰 수에 비례할 뿐이다.

이는 사람의 사고 방식과 다르다. 사람은 복잡한 문제를 만나면 더 오래, 반복적이고 위계적으로 생각한다. 르쿤은 이를 심리학의 '시스템 1'과 '시스템 2'에 빗댄다. 숙련된 운전이나 체스의 패턴 인식처럼 의식하지 않고 해내는 일이 시스템 1이라면, 낯설고 어려운 문제 앞에서 여러 선택지를 따져 보며 계획하는 것이 시스템 2다. 지금의 LLM은 이 숙고형 계획을 하지 못한다.

르쿤이 그리는 미래 대화 시스템의 청사진은 자기회귀적 토큰 예측과 근본적으로 다르다. 프롬프트를 관측된 변수로 보고, 답을 텍스트로 내뱉기 전에 먼저 추상적인 표현 공간에서 '생각'을 다듬는다. 즉 답의 표현을 최적화로 계획한 다음, 그 표현을 텍스트로 옮기는 단순한 디코더에 넘긴다. 이렇게 하면 사고가 특정 언어와 분리돼, 개념의 공간에서 답을 벼릴 수 있다.

그 핵심 장치가 '에너지 기반 모델'이다. 이 모델은 질문 X와 답 후보 Y를 받아, Y가 X에 잘 들어맞으면 0에, 그렇지 않으면 큰 값에 가까운 하나의 점수(에너지)를 출력한다. 이런 모델이 있다면, 텍스트 문자열을 잔뜩 생성해 고르는 대신, 표현 공간에서 이 점수를 최소화하는 방향으로 답을 조금씩 다듬을 수 있다. 시스템 전체가 미분 가능하면 경사를 역전파해 답의 표현을 어떻게 바꿀지 계산할 수 있어, 이는 경사 기반 추론이 된다.

르쿤은 이런 에너지 함수를 학습시키는 방법도 설명한다. 서로 맞는 X와 Y 쌍에는 낮은 에너지를 주도록 학습하되, 모델이 모든 것에 0을 주는 붕괴를 막아야 한다. 한 방법은 잘못된 Y에 높은 에너지를 주도록 밀어 올리는 대조적 방식인데, Y의 공간이 크면 필요한 표본이 폭발한다. 르쿤이 선호하는 비대조적 방식은 낮은 에너지를 가질 수 있는 공간의 부피 자체를 줄이는 규제를 걸어, 한 영역의 에너지를 낮추면 다른 곳은 자연히 올라가게 만든다. 시각 데이터에서는 원본과 손상된 버전의 표현 예측 오차를 에너지로 삼는 JEPA 방식으로 이를 구현한다.

주요 인사이트

• '토큰당 일정한 연산량'이라는 구조적 특성이 현재 LLM 추론의 한계를 드러내는 핵심 단서다.
• 미래 시스템의 사고는 텍스트 생성이 아니라, 답의 추상 표현을 최적화하는 추론 과정으로 이뤄질 수 있다.
• 이산적인 토큰 공간에서 많은 후보를 만들어 고르는 방식은 낭비가 크며, 연속 공간에서 경사하강으로 답을 다듬는 편이 훨씬 효율적이다.
• 인간 선호 기반 강화학습에서 쓰는 보상 모델은 사실상 답의 좋고 나쁨을 재는 목적 함수로, 에너지 기반 모델과 개념이 맞닿아 있다.
• 사고를 언어와 분리해 추상 표현 공간에서 다루면, 어떤 언어로 표현하든 무관한 '개념 수준'의 답을 벼릴 수 있다.

자주 묻는 질문

관련 AI 소식