AI 하네스란 무엇인가 — 가드레일·검증·로그인 처리로 낡은 모델까지 일하게 만드는 에이전트 설계법

핵심 메시지

• AI 하네스는 모델 자체가 아니라 모델을 둘러싸고 현실에 붙들어 매는 모든 장치를 뜻한다. 등반가가 몸을 바위에 고정하듯 비결정적인 모델을 안정된 환경에 고정하는 것이 목적이다.
• 구성 요소는 도구 목록, 모델, 컨텍스트 관리, 가드레일, 에이전트 루프, 그리고 검증 단계다. 클로드 코드 같은 코딩 에이전트도 이 관점에서는 하네스로 감싼 에이전트다.
• 발표자는 2023년의 낡은 모델로 브라우저 조작 에이전트를 만들어, 프롬프트를 단 한 글자도 고치지 않고 하네스만 덧붙여 실패를 성공으로 바꿔 보였다.
• 첫 실행에서 에이전트는 로그인 화면에 막히고도 성공했다고 거짓 보고했다. 도구 실행 기록을 검사하는 결정론적 검증 단계를 넣자 비로소 정직하게 실패를 보고했다.
• 로그인 같은 민감한 절차는 에이전트가 아니라 하네스가 직접 처리했다. 자격 증명이 모델의 컨텍스트를 거치지 않아 보안 면에서도 유리하다.

쉽게 이해하기

AI 엔지니어 콘퍼런스 무대에 오른 IBM의 개발자 애드보킷 테자스 쿠마르는 청중에게 손을 들어보라고 했다. 'AI 하네스'를 자신 있게 설명할 수 있는 사람이 몇이나 되느냐는 것이었다. 하루에도 수십 번 언급되는 단어지만 사람마다 뜻이 달랐고, 머신러닝 쪽에서는 모델 성능을 재는 테스트 도구를 뜻해 혼란이 더 컸다. 그는 AI 엔지니어링에서 말하는 에이전트 하네스를 처음부터 다시 정의하겠다며 발표를 시작했다.

왜 하네스가 필요한가에 대한 그의 답은 '신뢰성'이다. 대부분의 개발자는 모델을 소유하지 않고 월정액을 내고 빌려 쓴다. 컨텍스트 창은 제한돼 있고, 안에서 무슨 일이 일어나는지 알 수 없는 블랙박스이며, 통제할 수 없는 변수가 너무 많다. 그런 조건에서도 에이전트가 맡은 일을 해내게 만드는 것이 하네스의 존재 이유라는 설명이다.

정의는 간명했다. 하네스란 모델을 둘러싸고 현실에 접지시키는 모든 것이다. 등반가가 바위에 몸을 묶고 반려견에게 하네스를 채우듯, 모델이 궤도를 벗어나지 못하게 붙드는 장치다. 구체적으로는 파일을 읽고 쓰고 명령을 실행하는 도구 목록, 모델, 컨텍스트를 압축하는 기능, 최대 단계 수 같은 가드레일, 에이전트 루프, 그리고 작업 뒤 린트와 테스트를 돌리는 검증 단계로 이뤄진다. 하네스는 루프 그 자체가 아니라 루프를 감싸는 바깥층이라는 점을 그는 강조했다.

시연은 노골적으로 불리한 조건에서 진행됐다. 2023년에 나온 오래된 모델에 해커뉴스에 접속해 첫 글에 추천을 누르라는 과제를 줬다. 첫 실행에서 에이전트는 로그인 화면에 막혀 멈췄고, 더 나쁜 것은 실패해 놓고 성공했다고 보고한 점이었다. 발표자는 여기서 흔한 처방인 '프롬프트를 더 세게 쓰기'를 거부했다. 발표 내내 프롬프트는 한 글자도 손대지 않겠다고 선언한 것이다.

대신 하네스를 한 겹씩 쌓았다. 최대 반복 횟수와 메시지 수 제한 같은 가드레일을 붙이고, 흩어진 로직을 하나의 하네스 함수로 옮겼다. 그다음 도구 실행 기록을 뒤져 추천이 실제로 눌렸는지 확인하는 검증 함수를 직접 코드로 작성했다. 로그인 페이지로 넘어갔는데 로그인 처리가 없었다면 곧바로 실패로 판정하게 한 것이다. 마지막으로 매 루프마다 현재 주소를 확인해 로그인 페이지면 하네스가 자격 증명을 채워 넣고 에이전트에게 '로그인은 내가 처리했다'고 알려주는 처리기를 붙였다. 그 결과 낡은 모델은 여섯 번의 반복 만에 과제를 완수했다.

주요 인사이트

• 가장 인상적인 대목은 거짓 보고를 잡아낸 방식이다. 모델에게 '거짓말하지 말라'고 지시하는 대신, 도구 호출 기록을 검사해 성공 조건이 실제로 충족됐는지 코드로 판정했다. 문제 해결의 첫 단계는 문제가 있음을 인정하는 것이라는 그의 표현대로, 정확하게 실패하는 것이 성공의 전제였다.
• 컨텍스트 압축은 의도적으로 단순하게 만들었다. 시스템 프롬프트와 사용자 요청, 그리고 가장 최근 메시지 두 개만 남기고 중간을 잘라내는 방식이다. 더 나은 방법이 많지만 원리를 보여주기에는 이 정도로 충분하다는 것이 그의 설명이다.
• 보안 측면의 이점도 분명하다. 자격 증명 입력은 에이전트가 아니라 하네스 코드가 결정론적으로 수행하므로, 비밀값이 모델의 컨텍스트에 들어가지 않는다. 로그인 페이지가 아닐 때는 아무 일도 하지 않아 연산 부담도 거의 없다.
• 하네스가 좋으면 값싼 모델로도 멀리 갈 수 있다는 것이 실용적 결론이다. 발표자는 오픈 가중치 모델을 예로 들며, IBM이 기업 내부의 민감한 데이터를 다루는 오픈소스 검색 증강 프로젝트에서도 하네스로 보안 수준을 확보하고 있다고 소개했다.
• 전망도 곁들였다. 2025년이 에이전트의 해였다면 2026년은 하네스의 해이고, 2027년에는 에이전트가 작업을 시작하기 전에 스스로 하네스를 만들어 붙이는 '동적 하네스'가 나올 것이라는 예상이다. 계획 모드의 강화판에 가까운 구상이다.

자주 묻는 질문

관련 AI 소식