코파일럿·커서 AI 코딩 도구의 현실, 15년차 개발자가 데이터로 짚은 생산성의 진실

핵심 메시지

• AI 코딩 도구는 코드 작성량을 늘리지만, 그만큼 결과물을 검토하는 시간이 더 늘어난다는 연구 결과가 있다.
• 모델 자체(LLM)와 그 위에 얹힌 소프트웨어 계층(하네스)은 다른 것이며, 개발자가 실제로 다루는 것은 하네스다.
• 도구가 사내 코드를 모르는 이유는 능력 부족이 아니라 컨텍스트 격차이며, 이를 메우는 것이 지금의 핵심 기술이다.
• 커서 도입 저장소를 추적한 연구에서 초기 1~2개월의 속도 향상은 코드 복잡도 증가와 함께 기준선으로 되돌아갔다.
• 개발자의 역할이 코드를 쓰는 사람에서 코드를 감사하는 사람으로 옮겨가고 있으며, 품질 관리 역량을 같이 키워야 한다.

쉽게 이해하기

캐나다 토론토에서 열린 개발자 콘퍼런스 NDC에서 마이크로소프트 MVP이자 15년 경력의 .NET 개발자인 아이작 레빈이 AI 코딩 도구의 실제 효용을 주제로 발표했다. 그는 자신이 이런 도구의 마케팅 문구를 직접 써 본 사람이라고 밝히면서, 홍보와 현실 사이의 간극을 짚는 데 발표 시간의 상당 부분을 썼다. 업계가 반복해 온 약속은 AI가 코드를 전부 써 주고, 문서와 테스트를 대신 만들어 주며, 방대한 학습 데이터 덕분에 버그도 사라진다는 것이었다.

그가 제시한 연구 수치는 다른 그림을 보여준다. 개발자는 코드를 20% 더 많이 만들어 내지만 그 결과물을 검토하는 데 40% 더 많은 시간을 쓴다. 발표자는 여기에 구조적인 문제가 있다고 봤다. 개발자는 코드를 쓰는 훈련은 받았지만 남이 쓴 코드를 읽는 훈련은 받지 않았고, 좋은 리뷰어가 될 수 있었던 이유도 스스로 나쁜 코드를 충분히 써 봤기 때문이라는 것이다. 직접 쓰는 일이 줄어들면 읽는 능력의 토대도 함께 약해질 수 있다.

발표의 중심 개념은 '하네스'다. 대규모 언어 모델 자체는 요청마다 격리된 확률적 예측기여서 기억도, 도구도, 상태도 없다. 하네스는 그 위에 얹혀 입력을 다듬고 컨텍스트를 나눠 보내고 안전 장치를 거는 소프트웨어 계층으로, 발표자는 이를 'AI 에이전트를 위한 운영체제'에 비유했다. 우리가 채팅 서비스나 편집기에서 만나는 것은 모델이 아니라 하네스이며, .NET 개발자에게는 비주얼 스튜디오 안의 코파일럿, VS 코드, 그리고 작업 공간 전체를 자동으로 색인하는 커서가 각각 다른 강점을 가진 선택지로 제시됐다.

도구가 사내 코드를 엉뚱하게 다루는 이유는 '컨텍스트 격차'로 설명됐다. 모델은 공개된 코드로 학습했기 때문에 표준적인 프레임워크 사용법은 잘 알지만, 회사가 돈을 버는 레거시 비즈니스 로직, 팀이 합의한 명명 규칙과 라이브러리 선택, 사내 저장소로만 배포되는 패키지는 알지 못한다. 발표자는 최신 버전이 나온 지 몇 달이 지나도 모델이 옛 버전용 코드를 만들어 내는 일을 예로 들며, 요구사항의 모호함이 타이핑 속도를 대신해 새로운 병목이 됐다고 정리했다.

해법은 컨텍스트를 깔때기처럼 좁혀 가는 것이다. 프롬프트에 직접 규칙을 넣는 단계, 작업 공간에 규칙 파일을 두어 도구가 항상 참조하게 하는 단계, 그리고 사내 소스 코드를 색인해 검색 기반으로 참조하게 하는 단계로 내려갈수록 결과물의 충실도가 올라간다. 발표자는 규제가 엄격한 환경을 위해 올라마로 개방 가중치 모델을 로컬에 띄우고 그 위에 하네스를 얹어 자기 저장소를 지식 베이스로 색인한 사례도 시연했는데, 비용은 아끼지만 속도는 확실히 느리다는 점을 함께 인정했다.

주요 인사이트

• 인지 부하를 측정한 연구에서 AI 도구 도입 이후 개발자의 시간 배분은 프롬프트와 컨텍스트 구성에 20%, 설계와 계획에 20%, 모델이 만든 코드를 읽는 데 60%로 재편됐다.
• 커서를 도입한 807개 저장소와 도입하지 않은 1,300여 개를 비교한 연구에서, 1~2개월간의 뚜렷한 속도 향상 뒤에 코드베이스가 비대해지며 복잡도가 오르고 속도는 원래 수준으로 되돌아갔다. 발표자는 정적 분석 경고가 약 4.9배, 복잡도 지표가 3.2~3.3배로 늘었다는 수치를 함께 인용했다.
• 발표자는 '엔터를 누를 때마다 누군가에게 비용이 나간다'는 표현으로 토큰 과금 구조를 요약했다. 도구별 구독이 늘어나는 현상은 케이블 방송을 끊고 스트리밍 서비스를 여러 개 결제하게 된 상황에 비유됐다.
• 도입 순서에 대한 권고는 직관과 반대다. 도구에 회의적인 시니어가 먼저 한계를 파악하고, 코드 품질과 테스트 커버리지를 다루는 프로세스를 만든 다음, 마지막에 주니어로 확대하라는 것이다.
• AI가 만든 코드가 왜 그런 결정을 했는지 궁금하다면 에이전트 디버그 로그를 열어 모델이 거친 단계, 호출한 도구, 오간 토큰을 시간 순으로 확인할 수 있다.

자주 묻는 질문

관련 AI 소식