재귀 언어 모델(RLM) 정리: 긴 문맥 한계를 파이썬 REPL로 우회하는 추론 전략

핵심 메시지

• 재귀 언어 모델(RLM)은 새로운 모델 구조가 아니라 기존 언어 모델 호출을 감싸는 추론 전략으로, 쓰는 사람 입장에서는 평범한 모델 호출과 똑같이 보인다.
• 프롬프트 전체를 모델에 밀어 넣는 대신 파이썬 REPL 환경의 변수로 저장하고, 루트 모델이 코드를 실행해 필요한 부분만 열어 본다.
• 루트 모델은 문맥을 직접 보지 않고 필요할 때만 하위 언어 모델을 재귀적으로 호출하므로, 사실상 길이 제한 없는 입력을 다룰 수 있다.
• OOLONG 벤치마크 실험에서 GPT-5 mini 기반 RLM이 GPT-5 단독 대비 성능을 약 두 배로 끌어올리면서 API 비용은 비슷하거나 오히려 저렴했다.
• 발표자는 RLM을 '쓴 교훈(bitter lesson)'에 대한 베팅으로 규정하며, 사람이 손으로 짠 에이전트 스캐폴드 대신 모델이 문맥 관리 자체를 학습하게 만들자고 제안한다.

쉽게 이해하기

연구 논문 커뮤니티 alphaXiv가 연 온라인 강연에서, MIT 박사과정 1년 차인 알렉스 장이 자신이 제안한 '재귀 언어 모델(Recursive Language Model, RLM)' 개념을 발표했다. 그는 프린스턴 학부 시절부터 SWE-bench 계열 벤치마크와 GPU 커널 작성 과제를 다뤄 왔고, 그 과정에서 반복적으로 마주친 문제가 '긴 문맥'이었다고 했다. 과제마다 다른 에이전트 뼈대를 새로 짜야 하고, 입력이 조금만 길어져도 성능이 이상하게 무너지는 상황이 계속됐다는 것이다.

그가 지적하는 핵심은 지금의 대응 방식이 두 갈래로 갈려 있다는 점이다. 하나는 모델 자체가 더 긴 입력을 처리하도록 학습시키는 길인데, 긴 시퀀스는 학습 데이터에서 드물게 나타나는 꼬리 분포라 비용이 크고 효과도 제한적이다. 다른 하나는 과제별로 요약·검색·분할을 끼워 넣는 스캐폴드를 만드는 길인데, 과제가 바뀔 때마다 다시 써야 한다. 그는 두 방식 모두 근본 해법이 아니라고 봤다.

RLM의 발상은 단순하다. 모델을 호출할 때 프롬프트를 모델에게 바로 주지 않고, 파이썬 REPL(주피터 노트북 같은 대화형 실행 환경)에 하나의 변수로 집어넣는다. 루트 모델은 그 변수 안에 무엇이 들었는지 직접 보지 않은 채, 코드를 실행해 길이를 재고 잘라 보고 특정 조각에만 다른 언어 모델을 호출한다. 하위 호출의 답 역시 메모리에 남고, 루트 모델은 그 요약본만 본다. 사용자에게 보이는 것은 프롬프트와 최종 답변뿐이며, 코드 안에서는 `gpt5.completion` 대신 `rlm.completion`을 부르는 정도의 차이다.

비용이 오히려 내려가는 이유도 이 구조에서 나온다. 모든 조각에 모델을 부르는 게 아니라, 코드로 검색하고 걸러 낸 다음 정말 필요한 조각에만 추론을 돌리기 때문이다. 발표자는 아직 공개되지 않은 OOLONG 벤치마크(가장 큰 문제가 약 26만 토큰으로, GPT-5의 입력 한도 안에 들어간다)에서 이 효과를 보였다고 설명했다. 즉 문맥에 다 들어가는 문제인데도 모델이 제대로 못 다루는 '문맥 부식(context rot)' 구간에서 RLM의 이득이 컸다는 뜻이다. 또 다른 실험인 BrowseComp-Plus에서는 문서 수를 늘려도 성능이 잘 버텼는데, 검색·필터링을 코드로 처리할 수 있으니 당연한 결과라고 그는 덧붙였다.

그는 RLM을 Claude Code나 Codex 같은 코딩 에이전트와 같은 것으로 보지는 말라고 선을 그었다. 그런 도구들은 코드베이스라는 특정한 문맥을 다루도록 정교하게 다듬어진 시스템이고, RLM은 '문맥 중심(context-centric)' 관점에서 과제를 가리지 않는 일반 추상화라는 것이다. 한계도 솔직히 인정했다. 공개한 예제의 실행 환경은 내장 함수 일부만 제거한 수준이라 안전하지 않고, 지연 시간 최적화는 손대지 않았으며, 잘 튜닝된 검색 시스템이 특정 문제에서 단순한 RLM보다 나을 수 있다고 했다.

주요 인사이트

• '긴 문맥 과제'와 '일반 과제'의 구분이 생각보다 흐릿하다는 지적이 흥미롭다. 추론 토큰, 도구 출력, 여러 턴의 대화가 쌓이면 어떤 작업이든 결국 긴 문맥 문제가 되기 때문이다.
• 핵심은 병렬 추론이나 과제 분해와 다르다. 문제를 쪼개는 게 아니라 '문맥을 손실 없이 다루는 것'이 목표이며, 그래서 재귀 호출은 목적이 아니라 필요에 따라 생기는 수단이다.
• 코드 실행 환경을 고른 이유는 계산기 대용이 아니라 유연성 때문이다. 도구를 미리 정해 주면 모델의 선택지가 좁아지는데, 요즘 모델은 파이썬을 워낙 많이 학습해 메모리 위의 객체를 다루는 데 익숙하다는 것이다.
• 발표자는 RLM 실험에서 모델에게 비용을 아끼라는 지시를 전혀 넣지 않았다고 밝혔다. 그럼에도 비용이 비슷하게 나왔다는 점은, 프롬프트나 학습으로 더 낮출 여지가 남아 있다는 뜻이다.
• 실무 적용에는 샌드박스가 필수다. 청중이 제안한 대로 POSIX 호환 격리 환경에 자주 쓰는 스크립트를 미리 넣어 두는 방식이 현실적이지만, 미리 정의할수록 모델의 자유도가 줄어든다는 상충 관계가 남는다.

자주 묻는 질문

관련 AI 소식