AI 코딩 에이전트 검증: 지시가 아니라 결정론적 검증이 핵심인 이유

핵심 메시지

• 코딩 에이전트는 작업을 하위 작업으로 나눠 ‘완료’라고 보고하지만, 막상 실행하면 작은 부분이 어긋나 있는 경우가 잦다.
• 결국 사람이 매번 결과를 직접 확인하는 ‘집행자’ 역할을 하게 되는데, 발표자는 이 확인을 결정론적으로 자동화하는 방법을 제안한다.
• 새 모델이 나오면 성능은 좋아지지만 신뢰성까지 함께 높아지는 것은 아니다. 지시를 잘 주는 것과 결과를 검증하는 것은 다른 문제다.
• 검증 계층을 붙이면 작고 저렴한 모델로도 원하는 결과를 안정적으로 얻을 수 있어 비용을 줄일 수 있다.
• 가치는 우리가 짠 코드가 아니라 우리가 설계한 검증에 있다 — ‘코딩할 수 있는가’가 아니라 ‘검증할 수 있는가’가 관건이다.

쉽게 이해하기

발표자는 흔한 경험에서 이야기를 시작한다. 코딩 에이전트에게 기능을 맡기면 작업을 하위 작업으로 잘게 나누고 여러 하위 에이전트가 착착 돌아가는 모습이 인상적이다. ‘완료’ 표시까지 뜨면 다 된 것처럼 보인다. 그러나 실제로 실행해 보면 아주 작은 부분이 빠져 있어 제대로 동작하지 않고, ‘이것 좀 고쳐줘, 저것 좀 고쳐줘’를 반복하게 된다.

이 반복에서 그는 자신이 결국 ‘집행자(enforcer)’가 되어 있다는 사실을 깨닫는다. 에이전트가 완료라고 해도 대신 확인해 줄 사람이 없으니 매번 직접 확인해야 한다. 그래서 그가 원한 것은 결정론적인 확인, 즉 에이전트가 ‘완료’라고 표시하면 실제로 완료되었는지를 확정적으로 검증하는 장치였다.

그는 이를 위해 자신만의 검증 도구를 만들고, 코딩 에이전트의 훅(hook)을 활용해 세션이 끝나면 자동으로 검증기가 호출되도록 했다. 설정 파일에 확인할 테스트 케이스를 정의해 두면, 실패할 경우 시스템이 에이전트에게 ‘실패했으니 다시 시도하라’고 반복해서 알려 준다. 핵심은 모델이 그 일을 ‘할 수 있느냐’가 아니라, 모든 것을 맡길 만큼 ‘신뢰할 수 있느냐’의 문제라는 점이다.

한 엔지니어는 더 똑똑한 모델이 나오면 이런 강제 장치가 필요 없어질 것이라고 말했다고 한다. 그러나 그는 새 모델이 성능을 끌어올리더라도 신뢰성까지 보장하지는 않는다고 본다. 최고의 도구·하위 에이전트·컨텍스트를 갖추더라도, 지시를 주는 것과 결과를 검증하는 것은 별개다. 오히려 검증 장치를 두면 작고 저렴한 모델로도 원하는 결과를 안정적으로 얻어 비용을 크게 줄일 수 있다.

그가 도달한 결론은 ‘패턴’의 필요성이다. 각 회사가 저마다 도구를 만들지만, 공유 가능한 것이 되려면 언어에 구애받지 않고 누구나 자기 방식으로 적용할 수 있는 검증 패턴이어야 한다. 이 검증은 대화 도중, 대화 종료 시, 커밋 전, 다중 에이전트 워크플로, 비동기 작업 등 모든 단계에서 결정론적으로 실행될 수 있어야 한다. 요컨대 ‘지시하지 말고 시행하라’, 그리고 속도를 조금 늦추더라도 검증 계층으로 결과를 확인하라는 것이다.

주요 인사이트

• ‘완료’라는 보고와 ‘실제로 완료됨’ 사이의 간극을 사람이 메우게 되는데, 이 확인을 결정론적으로 자동화하면 사람은 집행자 역할에서 벗어날 수 있다.
• 모델 성능 향상이 곧 신뢰성 향상은 아니다. 검증은 모델을 바꾼다고 사라지는 문제가 아니라 별도로 설계해야 하는 계층이다.
• 검증 장치를 붙이면 값비싼 최첨단 모델 대신 작은 모델로도 원하는 품질을 확보할 수 있어 비용 구조가 달라진다.
• 검증은 언어에 구애받지 않고 대화·커밋·다중 에이전트 등 모든 단계에서 결정론적으로 실행 가능한 ‘공유 패턴’이어야 확장된다.
• 가치의 무게 중심이 ‘코드 생성’에서 ‘검증 설계’로 옮겨 간다는 관점의 전환이 이 강연의 핵심이다.

자주 묻는 질문

관련 AI 소식