강화학습의 한계, 카르파티가 짚은 현재 LLM 학습 방식의 근본 문제

핵심 메시지

• 카르파티는 현재의 강화학습이 사람들이 생각하는 것보다 훨씬 열등하며, 사람은 이와 다른 방식으로 배운다고 지적한다.
• 강화학습은 한 문제에 수백 번의 시도를 병렬로 던진 뒤, 정답에 도달한 시도의 '모든 토큰'을 무차별적으로 강화한다.
• 정답까지 가는 길에 들어간 잘못된 곁길까지 함께 '잘한 행동'으로 강화되기 때문에 학습 신호에 잡음이 크다.
• 긴 과정을 거쳐 얻은 마지막 보상 하나를 전체 궤적에 되뿌리는 방식을 카르파티는 '빨대로 지도학습을 빨아들이는 것'에 비유한다.
• 그는 모방학습·강화학습을 넘어, 스스로 복기하고 검토하는 새로운 학습 알고리즘이 여러 차례 더 필요하다고 본다.

쉽게 이해하기

안드레이 카르파티는 강화학습(RL)이 대중이 기대하는 만큼 똑똑한 학습 방식이 아니라고 말한다. 다만 그 이전에 쓰이던 방식들이 더 나빴기 때문에 상대적으로 나아 보일 뿐이라는 것이다. 그는 사람은 강화학습이 아니라 무언가 다른 방식으로 배운다고 강조한다.

그가 든 예시는 수학 문제 풀이다. 강화학습에서는 한 문제에 대해 수백 개의 서로 다른 시도를 병렬로 던진다. 그런 다음 책 뒤편의 정답과 대조해, 정답을 맞힌 몇몇 시도는 살리고 나머지 수십 개의 실패한 시도는 버린다. 문제는 정답을 맞힌 시도라면 그 안의 '모든 토큰', 즉 풀이의 모든 단계를 '이런 걸 더 하라'는 식으로 똑같이 강화한다는 점이다.

카르파티는 이 방식이 잡음이 크다고 지적한다. 정답에 이르기까지 실제로는 엉뚱한 곁길로 빠졌던 부분조차, 최종적으로 정답만 맞히면 전부 '잘한 행동'으로 가중치가 올라가기 때문이다. 그는 이를 '추정량의 분산이 크다'는 말로 설명하면서, 결국은 그냥 시끄러운(noisy) 신호라고 표현한다.

그는 이 구조를 '빨대로 지도학습을 빨아들이는 것'에 비유한다. 1분에 이르는 긴 롤아웃(풀이 과정)을 다 수행하고도, 마지막에 '정답이다/아니다'라는 숫자 하나만 얻어 그 신호를 궤적 전체에 뿌려 올리거나 내린다는 것이다. 사람이라면 결코 수백 번의 시도를 하지도 않고, 풀이를 끝낸 뒤에는 어떤 부분을 잘했고 어떤 부분을 못했는지 복기하는 복잡한 검토 과정을 거친다고 그는 말한다.

그럼에도 카르파티는 이 계보의 진전을 인정한다. 모방학습(instruct GPT류)은 자동완성에 불과하던 사전학습 모델을 대화 형태의 텍스트로 미세조정하는 것만으로 지식은 유지한 채 빠르게 대화형 비서로 바뀌게 했고, 이는 그에게 놀라운 일이었다. 강화학습은 여기서 한 걸음 더 나아가, 정답이 정해진 문제에서 전문가의 풀이를 흉내 내지 않고도 보상을 기준으로 스스로 개선하며 인간이 떠올리지 못할 해법을 발견하게 한다. 하지만 여전히 부족하며, 스스로 복기·검토하는 방향의 새 알고리즘이 앞으로 서너 번, 다섯 번은 더 나와야 한다고 그는 전망한다.

주요 인사이트

• 강화학습의 핵심 약점은 '희소한 보상'이다. 긴 풀이 과정 끝에 얻는 정답 여부라는 단 하나의 신호로 과정 전체를 평가하기 때문에 어느 단계가 실제로 좋았는지 구분하지 못한다.
• 정답을 맞힌 궤적의 모든 단계를 똑같이 강화하는 것은, 잘못된 곁길까지 함께 학습해 버리는 부작용을 낳는다. 이것이 카르파티가 말한 '분산이 큰 잡음 신호'의 실체다.
• 사람의 학습은 병렬 수백 회 시도가 아니라, 소수의 시도 뒤 자기 풀이를 되짚어 잘한 부분과 못한 부분을 나누는 복기에 가깝다. 현재 LLM에는 이에 대응하는 메커니즘이 없다.
• 모방학습에서 강화학습으로의 전환은 분명한 진전이지만, 카르파티는 이를 완성형이 아니라 '더 나은 알고리즘'으로 대체될 중간 단계로 본다.
• 복기·검토(reflect and review)와 메모리 뱅크를 접목하려는 연구가 이미 등장하고 있으며, 카르파티는 LLM 학습 알고리즘에 큰 변화가 올 것으로 예상한다.

자주 묻는 질문

관련 AI 소식