AI 에이전트 하네스가 모델보다 중요한 이유와 코딩 에이전트 설계 7단계

핵심 메시지

• 에이전트는 '모델 + 하네스'로 이뤄지며, 하네스는 모델과 사용자 사이의 모든 환경(도구·안전장치·실행 루프)을 뜻한다.
• 같은 모델·같은 과제에서 하네스만 바꿔도 성능 점수가 52.4%에서 76.2%까지 20점 넘게 벌어졌고, 약한 모델일수록 하네스의 영향이 더 컸다.
• 하네스가 모델보다 중요하다면, 소수 기업의 값비싼 독점 모델에 의존하지 않고 로컬 오픈소스 모델로도 필요한 성능을 낼 수 있다는 뜻이다.
• 좋은 코딩 에이전트는 도구 제공 → 안전장치 → 자율성 → 추론 루프 → 서브에이전트 → 자기최적화 순서로 하네스를 쌓아 올리며 나아진다.

쉽게 이해하기

발표자는 에시(Etsy)의 스태프 엔지니어이자 알고리즘 입문서 『Grokking Algorithms』의 저자로, '모델이 워낙 좋아졌으니 하네스는 단순하게 두고 도구 몇 개만 쥐여 주면 된다'는 업계의 통념에 반론을 편다. 그 방향은 결국 로컬에서 돌릴 수 없는 값비싼 독점 모델에 우리를 더 묶어 둔다는 것이다. 대신 그는 하네스를 충분히 잘 만들어 오픈소스 모델로도 최신 모델급 성능을 끌어내는 반대 방향을 제안한다.

근거로 그는 하네스를 평가하는 벤치마크 'HarnessBench'를 소개한다. 106개 과제에서 같은 모델·같은 평가로 하네스만 바꿔 측정했더니 점수가 52.4%에서 76.2%까지 20점 넘게 차이 났고, 특히 약한 모델에서 하네스의 효과가 더 컸다. 좋은 하네스가 약한 모델을 보완할 수 있다면, 누구나 스스로 하네스를 만들어 유료 모델 의존에서 벗어날 수 있다는 결론으로 이어진다.

그는 이런 하네스를 제대로 만들려면 언어 차원의 지원이 필요하다고 보고, 지난 6개월간 에이전트를 위한 새 언어 'Agency'를 만들어 왔다고 밝힌다. TypeScript에 파이썬 문법을 섞은 모습으로, 정의한 함수는 자동으로 도구(tool)가 되고 도크스트링이 도구 설명으로 쓰인다. '단순한 것은 단순하게, 복잡한 것은 가능하게'라는 앨런 케이의 말을 지향점으로 든다.

발표의 핵심은 리스트의 중앙값을 구하는 함수의 버그를 고치는 하나의 과제를 두고, 같은 모델·같은 과제로 코딩 에이전트를 일곱 단계에 걸쳐 진화시키는 시연이다. 아무 도구도 없는 순수 모델은 파일조차 읽지 못하고, 읽기·쓰기 도구를 주면 위험해지며, 이를 어떻게 안전하면서도 자율적으로 만들지가 관건이 된다.

주요 인사이트

• 안전장치의 핵심 개념은 '인터럽트(interrupt)'다. 파일 수정처럼 파괴적이거나 민감한 동작은 먼저 실행을 멈추고 사람의 승인을 받도록 하며, Agency에서는 이 인터럽트를 for 루프·도구 호출·서브에이전트 안 어디서든 걸고 나중에 그 지점부터 실행을 재개할 수 있다.
• 매번 사람이 승인하면 안전하지만 느리다. 이를 함수형 프로그래밍의 '부분 적용(partial application)'으로 푼다. 읽기 함수의 디렉터리 인자를 특정 폴더로 고정해 버리면 모델은 그 인자의 존재조차 모른 채 해당 폴더 안에서만 파일을 다룰 수 있어, 사람 개입 없이도 권한을 안전하게 제한한다.
• 실제로 코드를 고치게 만드는 것은 'ReAct(추론-행동)' 피드백 루프다. 두 파일을 읽고(추론) 테스트를 돌린 뒤(행동) 실패 메시지를 관찰해 다시 판단하는 과정을 테스트가 통과할 때까지 반복하게 하자, 에이전트가 버그를 찾아 고치고 통과까지 스스로 확인했다.
• 더 나아간 개념으로 서브에이전트와 자기최적화가 있다. 서브에이전트를 별도 개념이 아니라 그냥 또 하나의 함수로 다뤄 도구처럼 호출하면, 관련 없는 도구·맥락이 뒤엉켜 에이전트가 혼란에 빠지는 문제를 줄인다. 또 내장 최적화기로 프롬프트 같은 변수를 표시해 목표를 주면, 추측과 시행착오 대신 성능을 체계적으로 측정하며 개선할 수 있다.

자주 묻는 질문

관련 AI 소식