Ornith 1.0: 자기 스캐폴딩으로 실행 하네스를 직접 작성하는 에이전트 코딩 LLM 계열 살펴보기

핵심 메시지

• Ornith 1.0은 모델이 해답뿐 아니라 그 해답을 이끌 실행 하네스(스캐폴드)까지 스스로 작성하도록 학습한 "자기 스캐폴딩" 코딩 LLM 계열이라고 영상은 소개한다.
• 영상에 따르면 4종(9B·31B·35B MoE·397B MoE) 모델이 모두 공개되었고, 각각 Qwen 3.5·Gemma 4 계열을 미드/포스트 트레이닝한 것이다.
• 하네스를 사람이 설계하는 대상이 아니라 "학습 가능한 객체"로 다루는 것이 이 프로젝트의 핵심 아이디어다.
• 작업과 이전 스캐폴드를 조건으로 새 하네스를 제안하고 그 위에서 롤아웃을 생성하는 2단계 과정을 GRPO 보상 신호로 함께 최적화한다.
• 보상 해킹은 불변 샌드박스, 결정적 모니터, LLM 심판의 3중 방어로 막는다고 설명한다.

쉽게 이해하기

AI 개발자 Sam Witteveen은 이 영상에서 Deep Reinforce가 내놓았다고 소개한 오픈 웨이트 모델 계열 Ornith 1.0을 살펴본다. 이 모델의 특징은 정해진 하네스를 쓰는 대신, 모델이 필요에 따라 자신의 실행 하네스를 직접 작성할 수 있다는 점이다. 영상은 이를 "에이전트 코딩을 위한 자기 스캐폴딩(self-scaffolding) LLM"이라고 부른다.

Ornith 1.0은 새로운 사전학습 모델이 아니라 기존 모델을 미세조정·후속학습한 4종으로 구성된다. 영상 설명으로는 9B는 Qwen 3.5, 31B는 Gemma 4 계열이며, 35B MoE와 397B MoE는 Qwen 3.5 계열이다. 큰 모델을 감추는 다른 사례와 달리 가장 큰 모델까지 모두 공개됐다는 점을 발표자는 긍정적으로 평가한다.

핵심은 지금까지 사람이 손으로 설계하던 에이전트 하네스를 "학습 가능한 객체"로 취급한다는 발상이다. 모델은 작업과 이전에 쓰던 스캐폴드를 조건으로 먼저 개선된 하네스를 제안하고, 그 하네스 위에서 결과에 이르는 롤아웃을 생성한다. 이렇게 얻은 여러 롤아웃을 보상 신호로 삼아 GRPO로 하네스 생성과 롤아웃 생성 능력을 함께 업데이트한다.

모델이 하네스를 직접 정하면 지름길로 답만 맞히는 보상 해킹이 우려된다. 영상은 이를 3중으로 막는다고 설명한다. 첫째, 샌드박스의 환경·도구는 불변이라 모델이 조작할 수 없다. 둘째, 검증 스크립트 수정이나 허용되지 않은 도구 사용을 감시하는 결정적 모니터가 이를 즉시 벌점 처리한다. 셋째, 그 위에서 LLM 심판이 최종 거부권을 행사한다.

발표자는 모델이 파이썬 코드를 짜서 실행하고 그 결과를 다시 활용한다는 아이디어 자체는 2022~2023년 PAL 논문까지 거슬러 올라간다고 짚는다. 데모에서는 펠리컨 SVG 그리기, RAG 질문, "5일 날씨 예보 하네스 만들기"(API 키가 없을 때는 open-meteo로 대체), 트위터 뉴스 수집 하네스, Gradio UI 생성 등을 35B MoE 모델로 시연한다.

주요 인사이트

• "모델이 스스로 컨텍스트 엔지니어링을 학습한다"는 표현처럼, 사람이 하네스를 손으로 짜던 부분을 모델에게 넘기려는 시도라는 점이 이 연구의 방향성을 압축한다.
• 작은 9B 모델도 비슷하거나 더 큰 모델과 견줄 만하다는 벤치마크는, 큰 GPU 없이 로컬 코딩 모델을 돌리려는 사용자에게 실용적 선택지가 될 수 있음을 시사한다.
• 보상 해킹 방어를 불변 환경·결정적 모니터·LLM 심판의 3중 구조로 나눈 설계는, 자기 스캐폴딩처럼 자유도가 큰 학습에서 안전장치가 왜 필수인지 보여 준다.
• 발표자는 이 모델이 자신의 주력 코딩 도구를 대체하진 않겠지만, 로컬·오프라인 코딩 용도로는 시도해 볼 가치가 있다고 균형 있게 평가한다.

자주 묻는 질문

관련 AI 소식