LLM 환각의 원인: 일반화와 환각이 같은 학습 메커니즘에서 나온다는 UC 버클리 연구 발표 정리

핵심 메시지

• 언어 모델은 학습 때 배운 조각들을 조합해 프롬프트에 없는 답을 만들어 내는데, 이 능력이 유용한 일반화와 환각을 동시에 만든다.
• 한 층짜리 어텐션만 있어도 이 조합 능력이 나타나며, 원인은 경사하강법이 낮은 랭크 구조의 해를 선호하는 성질에 있다.
• 행렬을 두 개로 쪼갠 구조인지 아닌지에 따라 학습이 도달하는 해가 달라지고, 쪼개지 않은 구조는 본 것을 외우는 데 그쳤다.
• 생각의 사슬을 길게 늘이는 방식은 비용이 크고 오히려 헛소리를 부르기 때문에, 추론 과정을 잠재 공간으로 옮기려는 시도가 나오고 있다.
• 연속 벡터로 추론하면 여러 후보를 동시에 겹쳐 두고 나중에 결정할 수 있어, 훨씬 작은 모델로도 탐색형 문제를 풀 수 있었다.

쉽게 이해하기

요즘 언어 모델은 복잡한 수학 문제를 풀고 코드를 짜면서도, 사람에게는 우스울 만큼 쉬운 문제에서 넘어진다. 발표자는 단어 안의 글자 수를 세지 못하거나 두 소수의 크기를 잘못 비교하는 사례를 든다. 더 흥미로운 것은 방향이 뒤집히면 답을 못 하는 현상으로, 'A는 B다'를 학습한 모델이 'B는 누구인가'라는 질문에는 자주 실패한다. 배운 사실을 관계로 이해한 것이 아니라 나온 순서 그대로 외운 셈이다.

발표의 앞부분은 이 두 얼굴이 같은 메커니즘임을 보인다. 학습 데이터에 '앨리스는 프랑스에 산다', '앨리스는 프랑스어를 한다', '밥은 프랑스에 산다'가 있으면 모델은 밥도 프랑스어를 한다고 답하는데, 두 번째 문장만 '앨리스는 자바로 코딩한다'로 바꾸면 똑같은 규칙을 적용해 밥도 자바로 코딩한다고 답한다. 거주지와 프로그래밍 언어 사이에는 아무 논리적 관계가 없으니 이번엔 환각이지만, 모델이 한 일은 두 경우 모두 완전히 같았다. 여러 공개 모델로 확인했을 때도 실제로 연결된 짝과 무작위로 이어 붙인 짝에서 나타나는 성향의 강도가 비슷했고, 규칙의 20%만 학습 데이터에 넣어도 나머지를 채워 넣을 만큼 효율적이었다.

이론 파트에서 발표자는 한 층, 한 헤드짜리 어텐션만으로도 이 현상이 재현된다는 점을 보인다. 핵심은 지식을 저장하는 부분을 하나의 행렬로 두느냐, 두 행렬의 곱으로 두느냐다. 하나로 두면 경사하강법은 각 항을 최대한 작게 만드는 해로 가고, 그 결과 학습 때 본 것만 외우는 모델이 된다. 두 개로 쪼개면 낮은 랭크 구조를 선호하는 해로 가는데, 이 구조가 바로 배우지 않은 칸까지 같은 패턴으로 채우는 행동, 즉 일반화와 환각을 함께 만든다.

후반부는 추론 비용 문제를 다룬다. 생각의 사슬을 길게 뽑는 방식은 '2 더하기 3'에도 수천 토큰을 쓰는 과잉 사고를 낳고, 사슬이 길어질수록 중간에 엉뚱한 내용에 끌려가 헛소리가 늘어난다. 긴 추론 흔적의 대부분은 문장을 매끄럽게 잇는 역할일 뿐 실제 추론을 하지 않는다는 관찰에서 출발해, 발표자는 추론 과정을 텍스트 토큰이 아니라 압축된 잠재 표현으로 옮기는 실험을 소개한다.

가장 인상적인 결과는 이산 토큰 대신 연속 벡터로 추론하게 했을 때 나왔다. 그래프에서 한 지점에서 다른 지점에 도달할 수 있는지 묻는 문제에서, 연속 벡터 방식은 확신이 없을 때 여러 후보를 하나의 벡터에 겹쳐 담아 폭 우선 탐색처럼 병렬로 넓혀 갈 수 있었다. 두 층짜리 모델이 거의 완벽한 정확도를 낸 반면 기존 방식은 열두 층을 써도 80% 언저리에 머물렀고, 여러 후보를 겹쳐 담는 표현은 따로 가르치지 않았는데도 학습 과정에서 저절로 나타났다.

주요 인사이트

• 환각을 없애기 어려운 이유가 여기서 드러난다. 환각은 별도의 고장이 아니라 유용한 일반화를 만드는 바로 그 메커니즘의 부산물이므로, 한쪽만 골라 끄기가 구조적으로 까다롭다.
• 미세조정은 능력을 올려 주는 만큼 위험도 같이 키운다. 새 데이터에 담긴 표면적 패턴까지 규칙으로 학습해 엉뚱한 대상에 적용할 수 있고, 그 학습이 아주 적은 예시로도 일어난다.
• 모델 구조의 사소해 보이는 선택이 결과를 가른다. 두 행렬로 쪼개는 것은 흔히 연산량을 아끼려는 설계로 이해되지만, 실은 학습이 도달하는 해의 성격 자체를 바꾼다.
• '모른다'고 답하지 않는 성향은 벤치마크 점수만 보면 잘 드러나지 않는다. 모델이 늘 무언가를 추측한다는 사실 자체가 실무에서는 별도의 위험 요인이다.
• 추론을 길게 뽑는 것이 유일한 확장 방법은 아니다. 같은 계산량이라도 어떤 공간에서 생각하게 하느냐에 따라 필요한 모델 크기와 비용이 크게 달라질 수 있다.

자주 묻는 질문

관련 AI 소식