재귀 언어 모델(RLM)이란? 긴 문맥 문제를 코드 실행으로 푸는 MIT 발 추론 기법

핵심 메시지

• 모든 LLM은 고정된 문맥 창을 가지며, 입력이 길어지면 중간 부분의 정보 회수 성능이 떨어지고(U자형 곡선) 무관한 데이터로 인한 환각·문맥 오염이 생긴다.
• RLM(재귀 언어 모델)은 모델을 다시 학습시키는 것이 아니라, 이미 학습된 모델을 감싸는 '스캐폴드'로서 LLM이 파이썬 코드를 작성해 긴 프롬프트를 탐색하게 한다.
• RLM은 REPL(read-eval-print loop) 환경에서 동작하므로, 이전에 실행한 코드와 변수 상태가 그대로 유지돼 모델이 블록 단위로 데이터를 조금씩 들여다보며 작업을 진행한다.
• 하위 에이전트를 재귀 호출할 수 있고, 그 응답은 부모 에이전트의 문맥에 자동으로 실리지 않고 파이썬 변수(심볼)로 반환돼 문맥을 깨끗하게 유지한다.
• 입력 토큰은 병렬 처리되고 KV 캐시를 자주 맞히는 반면 출력은 토큰을 하나씩 생성해 더 비싸므로, 필요한 부분만 읽고 코드로 답을 구성하는 RLM은 비용 효율이 높다.

쉽게 이해하기

영상은 '긴 문맥 문제'에서 출발한다. 인터넷 문서 수백만 건을 넣고 여러 문서에 흩어진 답을 조합해야 하는 질문을 던지면, LLM은 고정된 문맥 창 한계에 부딪힌다. 설령 다 넣더라도 회수 성능이 입력의 처음과 끝에서 높고 중간에서 떨어지는 U자형 곡선을 보이며, 질문과 무관한 데이터가 95%에 달하면 그 잡음 때문에 환각이 생기기 쉽다.

RAG, 다단계 ReAct 루프, CodeAct, 하위 에이전트 구조 등 여러 우회책이 나왔지만, 발표자는 MIT에서 나온 단순한 알고리즘인 재귀 언어 모델(RLM)이 이들 대부분을 능가한다고 소개한다. 핵심 원리는 "LLM이 긴 프롬프트를 다루기 위해 직접 코드를 쓰고, 프롬프트의 작은 조각들에 대해 자기 자신을 재귀적으로 호출하게 하면 어떨까"이다.

RLM은 다섯 가지로 요약된다. ①프로그래밍 가능한 환경(REPL)을 통해 임의로 긴 프롬프트와 상호작용하는 추론 패러다임이고, ②LLM이 코드를 써서 프롬프트를 탐색·분해·변형하며, ③작은 하위 작업을 위해 하위 에이전트를 재귀 호출하고, ④하위 에이전트의 응답은 부모 문맥에 자동 로드되지 않고 변수로 돌아오며, ⑤답을 자기회귀적으로 생성하지 않고 변수 안에 구성해 반환할 수 있다.

동작은 주피터 노트북에 비유된다. 거대한 프롬프트가 context 변수에 저장돼 있고 셀 내용은 가려져 있어, 모델은 코드를 써서 앞부분 500자를 출력해 보고, 구조를 파악하고, 정규식으로 원하는 부분만 찾아 들여다본다. 예컨대 스팸/햄 데이터셋에서 라벨만 추출해 세거나, 과일 개수를 자기회귀 생성 대신 파이썬 딕셔너리로 만들어 반환하고 assert로 개수를 검증한다.

구현에서는 코드 실행 샌드박스가 관건이다. 발표자는 Docker나 원격 샌드박스 대신, DSPy의 RLM 모듈에서 영감을 받아 Deno(자바스크립트 런타임) 위에서 WebAssembly 기반 Pyodide로 파이썬을 실행하는 구조를 택했다. 하위 에이전트 재귀 깊이 제한, 출력 절단(truncation), 루트/하위별 모델 분리 등 실전 세부도 함께 설명하며, 논문의 시스템 프롬프트를 1차 출처로 삼으라고 권한다.

주요 인사이트

• RLM의 가장 큰 차별점은 하위 에이전트 응답이 부모 문맥에 자동으로 쌓이지 않고 파이썬 변수로 반환된다는 점이다. 덕분에 부모 에이전트의 문맥은 하위 작업의 잡음에서 자유롭게 유지되고, 결과를 '합성 가능한 변수'로 다룰 수 있다.
• RLM 성능은 사용하는 기반 모델의 코딩 능력과 시스템 프롬프트에 크게 좌우된다. 발표자는 주 에이전트에 GLM5, 하위 에이전트에 MiniMax M2.5를 쓰되 모델마다 프롬프트를 조정해야 했다고 밝힌다.
• 파이썬을 매개로 하므로 스토리에서 어떤 사건이 먼저·나중에 일어났는지 같은 인과·순서 관계를 자연스럽게 다룰 수 있다. 유사도 검색 기반 RAG가 별도 메타데이터 없이는 못 하는 부분이다.
• RLM이 벤치마크에서 강한 이유는 초점 어텐션(필요한 구간만 문맥에 로드), 다단계 추론 구조와의 자연스러운 정합, 잡음에 대한 강건성, 합성 가능한 변수, 임의 길이 출력, 그리고 비용 절감으로 정리된다.

자주 묻는 질문

관련 AI 소식