AI 숙제 연구 320만 건 분석: 학습 시간 27% 감소, 남은 지식은 25% 감소

핵심 메시지

• 챗GPT 등장 이후 학습 플랫폼에서 문제 하나에 쓰는 시간이 대학생 기준 누적 약 27% 줄었다.
• 설문 조사에서는 부정행위 비율에 큰 변화가 없었지만, 행동 기록에서는 뚜렷한 변화가 잡혔다.
• AI로 옮기기 쉬운 서술형 문제에서만 시간이 줄고, 화면에서 그래프를 직접 조작해야 하는 문제에서는 줄지 않았다.
• 감독관이 있는 시험에서는 시간 감소가 통계적으로 0이었고, 감독 시험의 정답 오즈는 오히려 약 25% 떨어졌다.
• 감독 없는 평가에서는 점수가 좋아 보이기 때문에 지표만 보면 문제가 드러나지 않는다.

쉽게 이해하기

UC 어바인과 맥그로힐 연구진이 수학 학습 플랫폼 ALEKS의 10년 치 기록을 분석한 논문을 내놨다. 분석 대상은 학습 상호작용 320만 건과 배치고사 응답 시간 1,220만 건으로, 2015년부터 2025년까지 초등학교 5학년부터 대학 대수학까지가 포함됐다. 영상은 이 연구가 이 주제에서 나온 첫 대규모 행동 증거라고 소개한다.

이 연구가 설득력을 얻는 지점은 설계에 있다. 연구진은 같은 커리큘럼 안에서 문제를 두 종류로 나눴다. 하나는 통째로 복사해 붙여 넣으면 몇 초 만에 답이 나오는 텍스트 서술형이고, 다른 하나는 화면에서 점을 직접 끌어다 놓아야 해서 프롬프트로 옮길 수 없는 그래프 조작형이다. 같은 학생, 같은 수업 안에서 두 유형을 비교하면 나머지 조건이 자연스럽게 통제된다.

결과는 나이대에 따라 순서대로 갈렸다. 고등학생이 31.3%로 감소 폭이 가장 컸고 대학생이 26.9%, 중학생은 9.0%로 떨어졌으며 초등학교 5학년에서는 감지되는 변화가 없었다. 영상은 이 기울기 자체가 단서라고 본다. 혼자 공부하는 시간이 길고 자기 기기를 자유롭게 쓸 수 있는 나이일수록 변화가 컸는데, 이는 AI 접근성과 정확히 같은 방향이기 때문이다.

'그냥 더 효율적으로 푸는 것 아니냐'는 반론을 걸러내기 위해 연구진은 시험 감독 여부를 이용했다. 실력이 늘어 빨라진 것이라면 감독관이 있든 없든 똑같이 빨라져야 한다. 그런데 감독이 없는 시험에서는 서술형 응답 시간이 누적 11.6% 줄어든 반면, 감독이 있는 시험에서는 기울기가 통계적으로 0과 구분되지 않았다. 영상은 이를 '위조 검정', 즉 내 설명이 틀렸다면 반드시 나타나야 할 결과를 미리 정해두고 확인하는 방식으로 소개한다.

가장 중요한 결과는 학습 성과 쪽이다. 플랫폼 알고리즘과 무관하게 무작위로 배정되는 유지 문항 6,698건을 감독 조건에서만 분석했더니, 정답을 맞힐 오즈가 누적 약 25% 감소했다(오즈비 0.75). 시험을 보는 순간에 AI를 쓴 것이 아니라 감독 없는 학습 단계에서 쓴 결과가 나중에 감독 시험에서 드러났다는 뜻이다. 같은 방법을 감독 없는 시험에 적용하면 부호가 반대로 뒤집혀 정답 확률이 오히려 올라간다.

주요 인사이트

• 설문은 이 변화를 잡아내지 못했다. 자기가 한 일을 스스로 보고하는 방식은 무엇이 부정행위인지 기준이 모호할 때 한계가 뚜렷하다는 점을 보여준다.
• 감독 여부에 따라 결과의 부호가 뒤집힌다는 사실은 '플랫폼이 바뀌었다', '학생 구성이 달라졌다', '커리큘럼이 변했다' 같은 대안 설명을 한꺼번에 지운다. 그런 변화는 감독 조건에 따라 방향이 반대가 되는 패턴을 만들 수 없기 때문이다.
• 영상은 이 현상에 붙은 이름을 '인지적 항복'으로 소개한다. 어렵게 느껴지는 순간 사고 자체를 넘겨버리는 것이며, 개인의 게으름이 아니라 인구 수준에서 관측되는 현상이라는 것이 논문의 주장이다.
• 가장 위험한 부분은 이 문제가 지표상으로는 문제처럼 보이지 않는다는 점이다. 감독 없는 평가에서는 성적이 오히려 좋아 보이고 실제 지식은 내려가, 두 곡선이 반대로 갈라진다.
• 그래프 조작형 문제가 영향을 받지 않았다는 사실은 과제 설계의 방향을 시사한다. 복사해 붙여 넣으면 끝나는 과제는 더 이상 학습 과제로 기능하지 않는다는 것이다.

자주 묻는 질문

관련 AI 소식