하네스 엔지니어링 입문 – 컨텍스트·도구·자동화로 AI 에이전트 최적화하기

핵심 메시지

• 하네스(harness)는 AI 모델을 더 유용하게 만들기 위해 그 주위에 쌓아 올린 모든 것으로, 모델은 엔진, 하네스는 자동차의 나머지 부분에 비유된다.
• 하네스 엔지니어링은 출발점에 따라 세 단계로 나뉜다: 기성 도구 사용(코워크·챗봇), 강력하지만 튜닝이 필요한 도구(클로드 코드), 그리고 API로 직접 만드는 커스텀 하네스.
• 사용자가 당길 수 있는 세 가지 핵심 지렛대는 컨텍스트, 도구, 자동화이며, 보너스로 평가(eval)가 있다.
• 컨텍스트는 지침·지식·데이터(CLAUDE.md, 스킬의 점진적 공개, 노션 같은 외부 소스)로, 도구는 커넥터·MCP 서버·스킬 속 스크립트로 확장한다.
• 자동화는 예약 작업과 훅(hook)으로 반복 작업을 자동화하고, 평가는 사람이 매번 검토하는 대신 에이전트가 스스로 결과를 검증하는 루프를 가능하게 한다.

쉽게 이해하기

발표자는 하네스를 "AI 모델 주위에 만들어진 모든 것"이라고 정의한다. 모델이 자동차의 엔진이라면, 바퀴·차체·좌석·계기판처럼 엔진을 실제로 쓸모 있게 만드는 나머지 전부가 에이전트 하네스다. 그리고 자동차를 용도에 맞게 개조하듯 하네스도 자기 필요에 맞게 다듬을 수 있다.

하네스 엔지니어링에는 세 단계가 있다. 클로드 코워크나 챗봇처럼 기성품을 쓰는 단계(색상·설정 정도만 바꾸는 수준), 클로드 코드처럼 강력하지만 세밀한 튜닝에 전문성이 필요한 단계(F1 경주차 튜닝에 비유), 그리고 API와 직접 짠 코드로 원하는 형태를 처음부터 만드는 커스텀 단계다. 뒤로 갈수록 자유도는 커지지만 요구되는 전문성도 커진다.

첫 번째 지렛대는 컨텍스트, 즉 에이전트에 제공하는 지침·지식·데이터다. 클로드에는 이미 시스템 지침, 날짜·위치 같은 메타데이터, 과거 대화에서 뽑은 메모리가 들어 있다. 여기에 CLAUDE.md 파일로 매 대화에 자동 로드되는 지침을 더하거나, "스킬"을 활용할 수 있다. 스킬은 SKILL.md와 참고 문서·자산·코드가 담긴 폴더로, "점진적 공개" 방식 덕분에 처음에는 이름과 설명만 보이고 관련될 때만 전체 내용이 불려온다. 노션·옵시디언·구글 드라이브 같은 외부 소스에 컨텍스트를 두면 여러 AI 도구에서 재사용하기도 쉽다.

두 번째 지렛대는 도구, 즉 에이전트가 외부 앱·서비스와 상호작용하는 행동이다. 웹 검색이나 코드 실행 같은 기본 도구 위에, 커넥터와 MCP 서버로 Gmail·노션·구글 캘린더·슬랙·허브스팟·지라·캔바 등을 연결할 수 있다. 스킬 속 스크립트로도 도구를 줄 수 있어, 발표자는 키노트 편집, 영상 편집, 호스팅 서비스 로그 조회, 유튜브 분석, 뉴스레터·음성인식 API 연동 등을 스킬로 구현했다고 소개한다.

세 번째 지렛대는 자동화다. 시간에 따라 실행되는 예약 작업(/schedule)으로 매일 아침 회의 준비를 자동화하거나, 특정 이벤트에 반응하는 훅(hook)으로 세션 종료 시 설정을 깃허브에 백업하고, 스크린샷을 자동 삭제하며, 푸시 전 검토를 돌릴 수 있다. 보너스 지렛대인 평가(eval)는 결과가 좋은지 판단하는 테스트로, 사람이 매번 검토하는 "휴먼 인 더 루프"를 에이전트가 스스로 검증하는 루프로 바꿔준다. 발표자는 카파시의 자동 연구 프로젝트를 예로 들며, train.py를 직접 고치는 대신 최적화 지침 파일을 작성해 에이전트가 밤새 스스로 모델을 개선하게 한 사례를 소개한다.

주요 인사이트

• 핵심 사고 전환은 "이 일을 내가 어떻게 하지?"에서 "AI가 이 일을 안정적으로 하도록 어떻게 하네스를 만들지?"로 질문을 바꾸는 것이다.
• "에이전트 공감(agent empathy)"이 유용한 판단 기준이다. 내가 준 컨텍스트와 도구만으로 내가 그 일을 해낼 수 있을지 자문해, 아니라면 하네스를 개선한다.
• 스킬의 점진적 공개는 매 대화에 불필요한 텍스트를 쏟아붓지 않고, 필요한 순간에 필요한 컨텍스트만 불러오는 실용적 장치다.
• 컨텍스트를 노션 같은 외부 도구에 두면 클로드·챗봇·커서 등 여러 AI 도구에서 같은 정보를 재사용할 수 있다.
• 평가를 하네스에 넣으면 검토 속도가 사람의 한계에 묶이지 않고, 에이전트가 밤새 스스로 반복 개선해 더 나은 결과를 낼 수 있다.

자주 묻는 질문

관련 AI 소식