언어 모델 긴 추론의 오류 누적과 지평의 저주: 값 유도 백트래킹과 모듈식 머신러닝 이론

핵심 메시지

• 발표자는 딥러닝이 왜 작동하는지 증명하는 '만물 이론'을 세우지 않고도 유용한 이론이 가능하다고 주장하며, 이미 잘 푸는 문제를 부품으로 삼아 어려운 문제의 알고리즘을 설계하는 모듈식 접근을 제안한다.
• 핵심 걸림돌은 '지평의 저주'다. 결정 하나마다 작은 실패 확률이 있으면 결정을 길게 이어갈수록 전체가 옳을 확률이 지수적으로 무너진다는 현상으로, 언어 모델의 긴 증명에서 실제로 관찰된다.
• 부분 응답까지 점수를 매기는 과정 검증기가 완벽하다면 SAT 같은 NP-난해 문제도 선형 시간에 풀 수 있지만, 실제 검증기는 학습으로 얻은 근사치라 반드시 오차가 있다.
• 토큰마다 값 함수로 확률을 다시 가중하는 기존 방식은 되돌릴 수 없는 선택을 반복하기 때문에 오차를 그대로 누적시키며, 지평이 길어질수록 목표 분포와의 거리가 커진다.
• 제안된 값 유도 백트래킹은 토큰을 붙이는 확률에 더해 방금 붙인 토큰을 지우고 올라가는 확률을 두는 무작위 걸음이며, 근사 값 함수가 평균적으로 참값과 곱셈적으로 가깝다면 다항 시간에 목표 분포를 근사한다는 보장이 붙는다.

쉽게 이해하기

MIT 박사과정의 드루브 로하트기는 강연 서두에서 머신러닝 이론의 목표를 다시 정의한다. 딥러닝이 현실적인 가정 아래 작동함을 증명하는 일은 물리학의 만물 이론에 해당하는 난제이며, 딥러닝이 최악의 입력이 아니라 '자연스러운' 데이터에서만 통한다는 사실 자체를 아직 수학적으로 형식화하지 못하고 있다고 짚는다. 그래서 그는 다른 길을 택한다. 컴퓨터과학이 프로그래밍 언어나 하드웨어를 추상화한 채 알고리즘을 설계하듯, 지도학습이나 생성 모델처럼 이미 풀 수 있는 문제를 부품으로 놓고 그 위에서 어려운 문제를 설계하자는 것이다.

이때 부품은 반드시 불완전하다는 점이 출발점이 된다. 어떤 수학 조각이 리만 가설 해결에 진전이 되는지 판정하는 모델이 있다고 해도, 학습되지 않은 영역이 늘 남아 있으므로 틀릴 때가 있다. 따라서 쓸모 있는 추상화는 이 불완전함을 개념화할 수 있어야 하고, 알고리즘은 그 불완전함을 견디도록 설계돼야 한다. 강연의 1부는 정확히 이 구도를 생성 문제에 적용한다.

문제는 이렇게 형식화된다. 언어 모델이 주어지고 응답의 길이가 정해져 있으며, 응답의 정확성을 재는 보상 함수가 있다. 우리가 뽑고 싶은 것은 원래 모델의 확률에 보상을 곱한 분포다. 보상이 0 또는 1이면 이는 곧 제약 표집, 즉 '정답인 응답만 뽑기'가 된다. 여기서 부분 응답의 기대 보상을 알려주는 참 값 함수는 계산이 불가능하므로, 데이터로 학습한 근사 값 함수만 쓸 수 있다고 전제한다.

기존에 알려져 있던 것은 값 함수가 정확할 때뿐이었다. 그 경우 자기회귀 표집에 값 함수로 가중치만 곱하는 토큰 단위 재가중이 선형 시간에 정확한 분포를 만든다. 그러나 이 알고리즘은 견고하지 않다. 매 단계 되돌릴 수 없는 선택을 하고 실수를 고치러 돌아가지 않기 때문에, 값 함수의 작은 오차가 지평이 길어질수록 증폭된다는 것을 실험적으로도 확인했다.

제안된 해법은 부분 생성물들이 이루는 트리 위의 무작위 걸음이다. 아래로 내려가는 확률은 토큰 단위 재가중과 같지만, 위로 올라가 방금 쓴 토큰을 지우는 확률을 현재 노드의 근사 값에 반비례하는 형태로 추가한다. 사실상 한 줄짜리 수정이다. 이 걸음은 무향 무작위 걸음과 동치라서 정상 분포를 깔끔하게 쓸 수 있고, 잎 노드에서는 값이 곧 보상이므로 정상 분포가 정확히 목표 분포가 된다. 남은 문제인 혼합 시간은 초기화 위치에 따라 결과가 달라지는 '국소 정상 분포' 이론을 끌어와, 빈 토큰열에서 시작하면 다항 시간에 원하는 보장을 얻는다는 방식으로 해결했다.

주요 인사이트

• 완벽한 과정 검증기의 위력을 보여주는 사고 실험이 인상적이다. 변수 하나씩 값을 정하며 진전 여부만 물어보면 SAT를 선형 시간에 풀 수 있는데, 이는 곧 실제 검증기가 완벽할 리 없음을 반증하는 논거이기도 하다.
• 고전 마르코프 연쇄 이론이 통하지 않는 이유가 명확하다. 그 이론은 어디서 시작하든 빠르게 섞인다고 보장하지만, 학습된 값 함수는 훈련 데이터가 없던 영역에서 병목을 만들 수 있어 초기화를 고려하는 이론이 필요했다.
• 이 알고리즘의 뿌리는 1980년대 신클레어와 제럼의 SAT 표집-계수 환원이다. 무작위 걸음으로 오류 누적을 완화한다는 발상 자체가 새것이 아니라는 점이 오히려 이론적 신뢰를 준다.
• 지도 미세조정 쪽에서도 같은 처방이 나온다. 토큰 하나씩 예측하는 대신 크기 K의 덩어리 단위로 분포를 학습하면 오류 누적을 K분의 1 수준으로 줄일 수 있지만 계산량이 K에 지수적으로 늘고, 계산을 더 쓰지 않으면 누적을 완전히 없앨 수 없다는 하한도 존재한다.
• 로봇 모방 학습에서 나온 반직관적 결과가 눈에 띈다. 환경이 확률적으로 변할 때는 조금 더 못하지만 매끄러운 전문가를 모방하는 편이 더 나은 학생을 만든다는 것이다.

자주 묻는 질문

관련 AI 소식