퍼셉션 에이전트란? 화면을 인식하고 스스로 검증하는 AI 에이전트의 부상

핵심 메시지

• 에이전트가 버튼을 찾아 클릭하는 것은 이미 ‘쉬운 문제’가 됐고, 진짜 어려운 것은 여러 앱의 ‘틈새’에 걸친 실제 업무를 끝까지 완수하는 일이다.
• 역량(capability)은 대체로 확보됐지만, 신뢰성(reliability)이 없으면 시스템을 믿고 일을 맡길 수 없다. 4번 중 1번 데이터베이스를 지운다면 아무도 그 에이전트를 다시 쓰지 않는다.
• 코딩이 가장 먼저 자동화된 이유는 실행·테스트로 결과를 ‘검증’할 수 있기 때문이며, 대부분의 지식 노동은 검증이 어려워 신뢰성의 벽에 부딪힌다.
• 해법의 핵심은 더 큰 두뇌가 아니라 ‘공유된 맥락’ — 사람과 에이전트가 같은 화면을 보고 인식하는 것이다.
• 화면을 사람처럼 인식(perceive)하고, 지목으로 지시를 받고, 자기 작업을 스스로 검증하는 ‘퍼셉션 에이전트’가 다음 단계로 제시됐다.

쉽게 이해하기

강연은 1년 전만 해도 어려웠던 문제 — 처음 보는 화면에서 버튼을 찾아 클릭하는 일 — 이 이제 상당히 풀렸다는 데서 출발한다. 에이전트는 브라우저를 몰고, 데스크톱 앱까지 다루기 시작했다. 그러나 클릭은 사실 쉬운 부분이었고, 정작 해결되지 않은 것은 ‘실제 업무’ 그 자체라고 지적한다.

예로 든 것은 신입 사원 온보딩이다. 계정을 만들고, 슬랙 채널에 추가하고, 동료와 미팅을 잡고, 노트북을 주문하는 이 과정은 다섯 개의 서로 다른 시스템에 걸쳐 있고, 회사 안에서 누구도 처음부터 끝까지 책임지지 않는다. 에이전트는 개별 단계는 각각 해내지만, 진짜 업무가 애플리케이션들 ‘사이의 틈’에 살아 있기 때문에 끝까지 이어서 완수하지 못한다.

그동안 우리는 컴퓨터에게 컴퓨터 쓰는 법 — 클릭·스크롤·타이핑·API 호출·양식 작성 — 을 가르쳐 ‘역량’을 확보했다. 다음 관문은 신뢰성과 그로부터 오는 신뢰다. 강연은 코딩이 먼저 자동화된 이유를 ‘검증 가능성’에서 찾는다. 코드는 실행하고 테스트해 옳은지 확인할 수 있어, 에이전트가 코드를 쓰고 스스로 풀 리퀘스트까지 여는 단계에 이르렀다. 반면 ‘그 보고서가 잘 전달됐는가’, ‘디자인이 브랜드에 맞는가’ 같은 질문에는 유닛 테스트가 없다. 검증은 대부분의 업무가 사는 그 지점에서 벽에 부딪힌다.

그렇다면 사람은 지저분한 업무를 어떻게 처리할까. 동료를 붙잡고 화상 회의에 들어가 ‘같은 화면’을 보며 문제를 짚어가면 2분 만에 해결하기도 한다. 어느 것도 곧바로 검증되지 않지만, 핵심은 ‘같은 화면을 본다’는 공유된 맥락이다. 강연은 에이전트에게 필요한 것은 더 큰 두뇌가 아니라 바로 이 공유된 맥락이라고 말한다. 로봇공학의 ‘인식→계획→행동’ 루프처럼, 화면에서도 페이지 뒤의 코드를 긁는 대신 실제로 렌더링된 레이아웃·상태·변화를 사람처럼 인식하고, 실시간으로 함께 반응해야 한다는 것이다.

이렇게 ‘당신이 보는 것을 보고 당신의 의도를 이해하는’ 에이전트를 강연은 퍼셉션 에이전트라 부른다. 이들은 렌더링된 화면을 읽어 자기 출력을 스스로 확인하고, 별도 API나 백엔드 없이 화면의 픽셀·구조만으로 동작하며, 긴 설명 대신 요소를 직접 ‘지목’하는 더 정밀한 지시를 받는다. 발표자는 이 개념을 담은 오픈소스 하니스의 첫 두 조각 — 지시를 위한 주석(annotation) 도구와 자기 작업을 점검하는 검증(verification) 도구 — 을 공개했다고 소개했다.

주요 인사이트

• 자동화의 병목이 ‘할 수 있느냐(역량)’에서 ‘믿고 맡길 수 있느냐(신뢰성)’로 이동했다. 성공률 60~80%는 시연에선 괜찮아 보여도, 실무에서는 드물게라도 치명적 실수를 하면 아무도 쓰지 않는다는 지적이 날카롭다.
• ‘검증 가능성’이 자동화 순서를 결정한다. 실행·테스트로 정답을 확인할 수 있는 코딩이 먼저 안착했고, 검증이 어려운 지식 노동은 아직 열린 문제라는 프레임은 어떤 업무가 다음에 자동화될지 가늠하게 한다.
• 퍼셉션 에이전트는 API가 없는 소프트웨어에서도 작동한다는 점이 실용적으로 중요하다. 사람이 쓰는 대다수 프로그램은 API를 노출하지 않으므로, 렌더링된 화면 자체를 읽는 접근은 적용 범위를 크게 넓힌다.
• ‘긴 텍스트 설명 대신 요소를 지목한다’는 상호작용은 정보 손실이 적고 정밀하다. 사람과 에이전트가 같은 화면을 두고 가리키며 소통하는 방식이 프롬프트를 주고받는 왕복보다 효율적이라는 관점이다.
• 검증 도구가 디자인 규칙 파일을 기준으로 시각적 점검과 사용자 흐름 점검을 자동 수행하고 통과·실패 리포트를 남긴다는 설계는, ‘한밤중에 사람이 일일이 클릭해 확인하던 일’을 에이전트가 대신하게 하는 구체적 청사진을 보여준다.

자주 묻는 질문

관련 AI 소식