AI 코딩 생산성 — 스탠퍼드 5만 명 연구로 본 작업 유형별 효과

핵심 메시지

• 스탠퍼드의 대규모 연구(5만여 명, 20억 줄 이상, 비공개 저장소)는 소규모 표본 연구보다 실제 업무에 가까운 신뢰할 만한 결과를 제공한다.
• AI의 효과는 작업 유형에 따라 크게 갈린다. 저복잡도·신규(greenfield) 작업은 35~40% 향상, 고복잡도·기존(brownfield) 작업은 0~10%에 그친다.
• 파이썬·자바처럼 인기 있는 언어일수록 AI 효과가 크고, 하스켈·얼랭 같은 비주류 언어에서는 효과가 작거나 사라진다.
• 생산성은 코드 줄 수나 스토리포인트, 자기평가로는 제대로 측정할 수 없어, 인간 심사위원을 모방하도록 학습한 AI 모델로 코드 품질을 평가한다.

쉽게 이해하기

발표자는 AI가 소프트웨어 엔지니어링 생산성에 미치는 영향을, 주로 스탠퍼드대의 연구를 인용해 짚는다. 이 연구는 공개 저장소가 아니라 기업의 비공개 저장소 수백 곳, 20억 줄이 넘는 코드와 수천 건의 커밋, 5만 명 이상의 엔지니어를 대상으로 해, 35명 규모의 최근 연구들과 달리 실제 현업에 훨씬 가깝다고 평가한다.

핵심은 AI의 효과가 작업 유형별로 다르다는 점이다. 코드가 없는 상태에서 시작하는 신규(greenfield) 작업이면서 복잡도가 낮으면(예: 단순 CRUD) 35~40%의 생산성 향상이 나타난다. 신규지만 복잡한 작업은 10~15%, 기존 코드를 다루는 저복잡도 작업(리팩터링 등)은 15~20% 향상된다. 반면 기존 코드에 복잡한 작업이면 0~10%에 그치고 드물게는 마이너스가 되기도 한다. 전반적으로는 분명한 이득이 있다는 결론이다.

한 가지 중요한 변수는 프로그래밍 언어의 인기도다. LLM이 인기 언어로 더 많이 학습됐기 때문에 Go·파이썬·자바·C++ 같은 주류 언어에서는 효과가 크지만, 하스켈이나 얼랭처럼 덜 알려진 언어에서는 향상폭이 작다. 비주류 언어로 짜인 복잡한 기존 시스템을 고치는 경우라면 효과가 -5%에서 +5% 사이로, 사실상 AI가 큰 도움이 안 될 수 있다. 다만 이는 드문 사례다.

결론적으로 대부분의 기업과 사용 사례에서 AI 도입의 답은 '분명히 예스'다. 엔지니어의 작업량을 줄여 생산성을 높이므로, 남는 인력을 내보내거나 새 프로젝트에 투입할 수 있다. AI를 잘 쓰려면 프롬프트·컨텍스트 엔지니어링, 사고의 사슬(chain of thought), 예시 제공, 참고 자료 지목 같은 기법으로 입력 품질을 끌어올리라고 조언한다.

영상 후반부는 생산성을 '어떻게 측정하느냐'를 다룬다. 코드 줄 수는 프로젝트 초기엔 쉽게 부풀지만 유지·버그 수정·리팩터링은 줄 수가 적어 부적절하고, 스토리포인트는 승진 등을 의식해 부풀려지며, 자기평가는 30퍼센타일이나 어긋나 가장 나쁜 지표다. 대안은 머신러닝이다. 커밋이나 PR을 15명의 인간 심사위원과 별도의 AI 모델이 복잡도·자료구조 사용·API 설계 품질 등으로 채점하게 하고, AI 모델이 인간 점수와의 차이를 손실로 삼아 학습해 인간의 판단을 모방하도록 만든다. 충분히 학습되면 수백만 건의 커밋으로 확장해 AI가 만든 코드의 유용성을 대규모로 평가한다. 끝으로 발표자는 전직 OpenAI 엔지니어의 'AI 2027' 보고서를 비판하며, 모델 스케일링의 수익 체감, AI의 자기 목표 설정 가정의 비현실성, 수학적으로 견고한 보안 시스템 등을 들어 종말 시나리오를 과장된 공상으로 본다.

주요 인사이트

• AI의 생산성 효과는 단일 숫자가 아니라 작업의 '신규/기존'과 '복잡도'의 조합으로 갈린다. 저복잡도 신규 작업에서 35~40%로 가장 크고, 고복잡도 기존 작업에서 0~10%로 가장 작다.
• LLM은 인기 언어로 더 많이 학습돼 있어, 같은 작업이라도 파이썬·자바에서는 효과가 크고 하스켈·얼랭 같은 비주류 언어에서는 미미하다. 언어 선택이 AI 효용을 좌우한다.
• 코드 줄 수·스토리포인트·자기평가는 모두 생산성 지표로 부적절하다. 줄 수는 초기에 부풀고, 스토리포인트는 게이밍되며, 자기평가는 30퍼센타일이나 빗나간다.
• 대안 측정법은 인간 심사위원을 모방하도록 지도학습한 AI 모델로 코드 품질을 채점하고, 이를 수백만 커밋으로 확장하는 방식이다. 판단 과정을 사람 대신 모델이 대규모로 수행한다.

자주 묻는 질문

관련 AI 소식