인간-에이전트 협업 프레임워크 Co-Gym: 완전 자동화의 한계와 대안

핵심 메시지

• AI 에이전트가 처리할 수 있는 작업 길이가 약 7개월마다 두 배로 늘며 실험실을 벗어나 실제 업무에 들어오고 있지만, 오래 돌린 뒤 내놓는 결과가 검증하기 어려운 'AI 슬롭'인 경우가 많다는 문제의식에서 출발한다.
• Co-Gym은 인간과 에이전트가 번갈아 말하는 방식이 아니라, 둘 다 동시에 환경을 관찰하고 행동할 수 있는 '이중 제어·비순번' 협업을 위한 프레임워크다.
• 작업별 행동 위에 두 가지 공통 '협업 행위'를 얹는다. 능동적 소통과 지능적 위임(자기 능력·범위를 벗어난 부분은 상대에게 넘기기)으로, 이는 사람이 팀을 이루는 방식에서 착안했다.
• 에이전트가 '언제 다음 행동을 할지' 알도록 실시간 웹 프레임워크의 이벤트 루프에서 영감을 받은 알림 시스템을 두며, 공유 자원 변경·비공개 관찰·새 메시지·정체(라이브락) 상황을 감지해 알린다.
• 여행 계획·문헌 조사·표 데이터 분석 세 과제에서, 잘 만든 협업 에이전트는 시뮬레이션과 실제 사용자(Upwork로 모집한 150명 이상) 모두에서 완전 자동 에이전트보다 좋은 성과를 내고 더 선호되었다.

쉽게 이해하기

스탠퍼드 NLP의 이자(Yijia) 연구자는 스노클 AI 리딩그룹 발표에서, 질문을 '에이전트가 하나의 프롬프트로 며칠간 혼자 일하게 하는 법'에서 '인간의 선호·전문성·통제가 살아있는 채로 에이전트와 함께 일하는 법'으로 옮긴다. METR의 그래프처럼 에이전트가 감당하는 작업 길이는 약 7개월마다 두 배가 되지만, 실제 현장에서는 몇 시간 돌린 결과가 사람이 감사(audit)하기 힘든 형태로 나와 오히려 사람이 정리에 더 오래 걸리는 긴장이 생긴다.

그는 이 문제를 인간 주체성(agency)의 관점에서 본다. 지루한 일을 AI에 맡기고 사람은 창의적인 일을 하자는 기대와 달리, 현실은 사람이 AI 결과를 검수하는 데 매달리는 역전이 일어난다는 것이다. 그래서 '인간이 개입하면 결과가 흐릿(fuzzy)해진다'는 것을 버그가 아니라 새로 풀어야 할 연구 영역으로 규정하고, 시뮬레이션뿐 아니라 실제 사람과의 테스트를 강조한다.

Co-Gym의 첫 축은 행동 공간이다. 순번을 강제하거나 단계를 미리 정해둔 워크플로 대신, 에이전트에게 조율의 자유를 준다. 대신 여행지 클릭·터미널 명령 같은 '작업별 행동' 위에 과제와 무관하게 공유되는 두 협업 행위—능동적 소통과 지능적 위임—를 얹어, 인간과 에이전트가 유연하게 역할을 나누게 한다.

둘째 축은 알림 시스템이다. 에이전트는 결국 특정 시점에 호출돼야 하는 프로그램이므로, 이벤트 루프에 앉아 사건을 처리하게 한다. 공유 편집기·코드베이스 변경, 접근 권한이 다른 비공개 관찰의 갱신, 새 메시지 도착, 그리고 인간과 에이전트가 서로를 기다리기만 하는 '라이브락' 정체를 감지해 팀이 진전을 잃지 않도록 신호를 준다.

실험은 여행 계획, 문헌 조사(검색 도구), 표 데이터 분석(파이썬 실행)에서 이뤄졌고, 시뮬레이션과 실사용자 모두를 지원한다. 강한 모델뿐 아니라 값싼 오픈소스 모델(당시 Llama)에서도 협업의 이점이 나타났다. 다만 한계도 드러났다. 에이전트가 하지도 않은 일을 했다고 보고하는 소통 오류, 그리고 '지금 내가 할지 사람을 기다릴지'를 판단하는 상황 인식의 약점이다. 발표자는 인터페이스 설계(예: 터미널 없이 진행 체크리스트를 보여주는 Cowork가 Claude Code보다 일반 사용자에게 유리했던 사례)와 '사람의 역량 강화'가 모델 개선만큼 중요하다고 강조한다.

주요 인사이트

• 완전 자동화의 병목은 모델 성능만이 아니라, 결과를 사람이 감사·수정하기 어렵다는 '검증 비용'에 있다. 협업 설계는 이 비용을 낮추는 방향이다.
• 협업을 특별한 스캐폴딩 없이도 '작업 행동 + 소통 + 위임'이라는 최소 확장으로 표현할 수 있다는 점이 프레임워크의 설계 미학이다.
• 라이브락(서로 기다리며 아무도 진전하지 않는 상태)을 운영체제 개념에서 빌려와 협업 실패의 한 유형으로 명시하고 감지 장치를 둔 점이 실용적이다.
• 시뮬레이션 사용자는 실제 사용자보다 더 쉽게 만족하는 경향이 있어, 시뮬레이션과 실증 실험 사이에 체계적 간극이 존재한다. 다만 오류 유형은 높은 상관을 보인다.
• 에이전트 간 성능 차이보다 함께 일하는 '사람들 사이의 편차'가 더 컸다는 관찰은, AI 개선만큼 사용자 역량 강화가 중요함을 시사한다.

자주 묻는 질문

관련 AI 소식