재귀 언어모델(RLM) 완전 정리: 긴 문맥을 코드로 쪼개 스스로 호출하는 추론 전략

핵심 메시지

• RLM은 새로운 트랜스포머 모델이 아니라, 기존 언어모델 위에 얇게 올리는 추론 전략이다. 프롬프트를 모델 입력창에 넣지 않고 파이썬 실행 환경 안에 변수나 파일로 놓아둔다.
• 모델은 프롬프트를 직접 보지 않고 코드로 다룬다. 필요한 부분만 잘라 자기 자신을 다시 호출하고, 그 결과를 모아 최종 답을 만든다.
• 핵심 조건은 세 가지다. 프롬프트에 대한 기호적 참조, 언어모델의 유연함과 코드의 확실함을 결합하는 것, 그리고 하위 호출이 실행 환경 '안'에 함수로 들어가 있는 기호적 재귀다.
• 클로드 코드나 코덱스 같은 기존 스캐폴드는 하위 호출이 실행 환경 밖의 독립 도구라서 반복문·조건 분기 같은 프로그램적 패턴으로 엮기 어렵다는 것이 발표자의 지적이다.
• 논문의 실험은 재귀 깊이를 1로 고정했지만, 발표자는 단백질 접힘 알고리즘 설계처럼 탐색이 필요한 문제에서는 더 깊은 재귀가 흥미로워질 것으로 본다.

쉽게 이해하기

alphaXiv가 진행한 이번 강연에서 MIT 박사과정 알렉스 장은 자신의 첫 박사 논문인 재귀 언어모델(Recursive Language Models, RLM)을 소개했다. 지도교수인 팀 크라스카, 오마르 카탑과 함께 쓴 연구로, 지난해 10월 블로그 글로 아이디어를 먼저 공개하고 12월에 논문을 냈다. 출발점은 단순하다. 언어모델의 문맥 창은 여전히 좁고, 창을 늘리는 일은 기하급수적으로 비싸며, 긴 시퀀스는 애초에 학습 데이터에 자연스럽게 등장하지 않아 성능이 무너지기 쉽다는 것이다.

RLM의 발상은 프롬프트를 모델에게 통째로 보여주지 않는 것이다. 대신 프롬프트를 파이썬 실행 환경 안에 변수나 파일로 저장해 두고, 모델은 그 환경에서 코드를 써서 프롬프트를 살펴본다. 그리고 그 환경 안에서 또 다른 언어모델 호출, 대개는 자기 자신을 부를 수 있다. 재귀라는 이름이 여기서 나온다. 발표자는 이를 '언어모델처럼 취급되는 추상화'라고 표현했다. 바깥에서 보면 그냥 언어모델이지만, 사실상 무한에 가까운 입력을 다룰 수 있다는 것이다.

그는 RLM이 '서브에이전트를 부르는 도구를 하나 더 준 언어모델'로 오해받는다며, 성립 조건을 세 가지로 정리했다. 첫째, 모델이 직접 보지는 않지만 참조할 수 있는 프롬프트 핸들이 있어야 한다. 둘째, 언어모델의 흐릿한 판단과 프로그래밍 언어가 주는 확실한 보장을 함께 써야 한다. 셋째, 하위 호출이 실행 환경 안의 함수로 존재해야 한다. 기존 코딩 에이전트는 실행 환경과 서브에이전트 호출을 둘 다 갖고 있지만 호출이 환경 바깥의 별도 도구라서, 파일 전체를 도는 반복문처럼 구조화된 분해를 코드로 표현하기 어렵다는 설명이다.

왜 이것이 이득인지에 대해 그는 데이터 분석에 빗대 설명했다. 연구자든 엔지니어든 대용량 데이터셋의 모든 항목을 눈으로 읽지 않는다. 통계로 훑고 스크립트로 걸러낸 뒤 필요한 대목만 들여다본다. RLM도 마찬가지로 프롬프트 전체를 볼 필요가 없는 경우가 많고, 그래서 비용 면에서도 유리하다는 것이다. 다만 모델이 답에 확신을 갖지 못하면 루프가 길어져 비용이 길게 꼬리를 무는 문제가 있어 조정이 필요하다고 덧붙였다.

작은 모델에서도 되느냐는 질문에는 아직 발표되지 않은 후속 실험을 언급했다. Qwen3 8B는 문맥 창이 32K로 작아 그대로는 성적이 나쁘지만, 480B 규모의 Qwen3 Coder를 관련 없는 다른 벤치마크에서 돌려 짧은 궤적만 걸러낸 뒤 그것으로 미세조정하자 성능이 크게 올랐다고 했다. 그가 특히 기대하는 방향은 작은 모델 기반 RLM이 프런티어 모델보다 훨씬 큰 문맥을 잘 다루게 되는 그림이다.

주요 인사이트

• '문맥 창을 늘린다'와 '문맥을 프로그램으로 다룬다'는 서로 다른 해법이다. RLM은 후자를 택해, 모델 아키텍처를 건드리지 않고 추론 방식만 바꿔 긴 입력 문제를 우회한다.
• 같은 재귀라도 하위 호출이 코드 안에 있느냐 바깥에 있느냐가 성능을 가른다. 밖에 있으면 모델이 머릿속으로만 분해 알고리즘을 실행하는 셈이고, 안에 있으면 반복문과 병합 트리 같은 구조를 코드로 적어 실행시킬 수 있다.
• 모델마다 분해 습관이 다르다는 관찰도 실무적으로 중요하다. GPT-5 계열은 비교적 똑똑하게 묶어서 처리하는 반면 Qwen은 항목 하나하나에 재귀 호출을 날리는 비효율을 보였다고 한다.
• 발표자는 RLM을 프롬프트 최적화 도구인 DSPy와 구분했다. DSPy는 프롬프트를 다듬는 쪽이고 RLM은 질의 방식 자체를 바꾸는 추론 패러다임이라, 둘은 겹치기보다 직교한다는 것이다.
• 프롬프트가 반드시 텍스트일 필요는 없다는 점도 확장 여지다. 파일 시스템에 놓을 수 있는 형태라면 영상처럼 긴 비텍스트 입력도 같은 방식으로 다룰 수 있다는 설명이다.

자주 묻는 질문

관련 AI 소식