AI 코딩 실험: 속도는 애매, 이해력은 확실히 떨어졌다 (주니어 52명 연구)

핵심 메시지

• 주니어 개발자 52명을 AI 사용 그룹과 미사용 그룹으로 나눠 코딩 작업을 시킨 실험이 소개됐다.
• AI 그룹이 약 8%(2분) 빨랐지만 통계적으로 유의하지 않아, '속도가 빨라졌다'고 단정하기 어렵다.
• 반면 이해도 퀴즈에서는 AI 그룹 50%, 미사용 그룹 67%로 뚜렷하고 통계적으로 유의한 차이가 났다.
• 격차가 가장 큰 영역은 디버깅이었다. AI에 지나치게 의존하면 문제를 스스로 고치는 능력을 잃는다.
• 결론은 AI를 '가정교사'처럼 쓰라는 것: 이미 아는 일은 자동화하고, 모르는 일은 질문으로 배우며, 고장 나면 먼저 스스로 시도하라.

쉽게 이해하기

영상은 도구의 역사에서 출발한다. 망치가 사람의 건축 실력을 떨어뜨리지 않듯 도구는 대체로 능력을 보완해 왔지만, AI는 '손'이 아니라 '뇌'를 돕는다는 점이 다르다. 진행자는 우리가 AI에 넘겨준 능력은 어떻게 되는지, 이른바 'AI 브레인 롯'이 실재하는지를 언론 헤드라인이 아니라 실제 연구로 확인하자고 제안한다.

소개된 실험은 주니어 소프트웨어 엔지니어 52명을 두 그룹으로 나눠 한쪽은 AI로 코딩하고 다른 쪽은 쓰지 않게 했다. 첫 번째 질문인 '더 빨라졌는가'에 대해 AI 그룹은 약 8%, 시간으로 2분 정도 빨랐다. 그러나 이 차이는 통계적으로 유의하지 않아, 속도 향상은 '어쩌면'에 가깝다고 진행자는 평가를 낮춘다.

두 번째 질문인 '더 무뎌졌는가'에서는 결과가 달랐다. 작업 뒤 이해도 퀴즈를 보니 AI 그룹 50%, 미사용 그룹 67%로 약 두 등급에 해당하는 차이가 났고, 이는 통계적으로 유의해 잡음으로 치부하기 어렵다. 가장 크게 벌어진 영역은 디버깅이었다. AI가 짠 코드에는 결국 문제가 생기는데, 지나치게 기대면 스스로 고치는 능력이 사라진다는 것이다.

진행자는 세 가지 실천을 제안한다. 첫째, 이미 이해하는 일을 자동화·가속하는 용도로 AI를 쓴다. 둘째, 모르는 주제는 답을 받기보다 질문을 던져 머리를 예리하게 유지한다. 셋째, 무언가 고장 나면 곧바로 AI에 고쳐 달라 하지 말고 먼저 스스로 해본 뒤 무엇을 놓쳤는지 설명을 듣는다.

동시에 진행자는 이 연구의 한계를 분명히 한다. 대부분 주니어인 52명, 파이썬 라이브러리 하나, 짧은 과제 하나, 퀴즈 하나에 기반했고, 에이전트형이 아니라 대화형 보조도구를 썼다. 완전한 에이전트를 썼다면 격차가 더 컸을 수도 있다. 최종 결론은 'AI를 가정교사처럼 쓰면 오히려 사고력이 날카로워진다'는 것이다.

주요 인사이트

• '속도'와 '이해도'는 분리해서 봐야 한다. 이 실험에서 속도 이득은 불확실했지만 이해도 저하는 통계적으로 분명했다.
• AI 의존의 위험이 가장 먼저 드러나는 지점은 디버깅이다. 코드 생성보다 '고치는 능력'이 먼저 약해진다.
• 같은 AI라도 쓰는 방식이 결과를 가른다. 답을 받는 데 쓰면 무뎌지고, 질문하고 설명을 듣는 데 쓰면 학습이 강화된다.
• 작은 표본·단일 과제라는 한계가 있어 최종 결론이 아니라 '방향을 가리키는 신호'로 받아들여야 한다.

자주 묻는 질문

관련 AI 소식