생성형 AI 학습 효과 무작위 대조 시험 3편 - 지시문 몇 줄이 성적의 부호를 바꿨다

핵심 메시지

• 같은 GPT 모델을 쓰고도 시험 점수가 대조군보다 17% 떨어지기도, 떨어지지 않기도 했다. 차이를 만든 것은 모델이 아니라 AI에 준 지시문 몇 줄이었다.
• 성적이 떨어진 이유는 AI의 틀린 풀이에 속아서가 아니라 애초에 풀이를 읽지 않았기 때문이며, 손해를 본 학생들은 자신이 손해를 봤다는 사실조차 느끼지 못했다.
• AI를 학생이 아니라 채점하는 조교 쪽에 붙인 연구에서는 학생 글의 품질이 유의하게 올랐지만, 사후 시험 점수 차이는 잡히지 않았고 채점 시간도 줄지 않았다.
• 세 연구의 공통점은 모델을 바꾼 것이 아니라 사람이 만든 교육 설계물을 AI 안에 넣었다는 점이며, 셋 중 어느 것도 사람의 일을 줄여주지 않았다.
• 되는 조건은 세 줄로 요약된다. 답을 직접 주지 않을 것, 판단의 근거를 사람이 볼 수 있게 열어둘 것, 사람에게 거부권이 있고 실제로 그것을 쓸 것.

쉽게 이해하기

첫 번째는 미국 국립과학원 회보에 실린 현장 실험이다. 터키의 한 대형 고등학교에서 9학년부터 11학년까지 약 50개 학급, 학생 약 1천 명이 참여했다. 90분짜리 수업을 네 번 진행했고 이는 한 학기 수학 교육과정의 약 15%에 해당한다. 수업은 교사 강의, 학생이 혼자 푸는 연습, 노트북도 교과서도 없이 치르는 시험 순으로 구성됐고, 실험 처치는 오직 연습 구간에만 들어갔다.

학급은 세 갈래로 무작위 배정됐다. 대조군은 교과서와 노트만 썼고, GPT 베이스 조건은 우리가 흔히 쓰는 채팅 화면에 가까웠으며, GPT 튜터 조건은 모델은 같되 지시문만 달랐다. 답을 직접 주지 말고 힌트만 주라는 지시에 더해, 교사가 직접 만든 정답과 학생들이 자주 틀리는 지점, 그럴 때 어떻게 말해줄지를 문제마다 넣었다. 논문 스스로 품이 많이 드는 작업이라고 표현한 부분이다.

연습 구간 점수는 기대대로였다. GPT 베이스가 대조군보다 48% 높았고 GPT 튜터는 두 배를 넘겼다. 그런데 AI를 치우고 혼자 보는 시험에서 그림이 뒤집혔다. 베이스를 썼던 학생들은 대조군보다 17% 낮은 점수를 받았다. AI를 아예 써보지 못한 학생들보다 못한 것이다. 반면 튜터 쪽은 대조군과 통계적으로 구분되지 않았고, 하락 계수는 자릿수가 하나 줄었다.

원인은 오답에 속은 것이 아니었다. 연습 문제마다 정답률을 다시 측정하니 GPT 베이스는 절반 수준이었지만, 자주 틀린 문제와 짝지어진 시험 문제의 점수에는 유의한 영향이 없었다. 계산 오류와 논리 오류의 영향이 비슷했다는 점도 같은 방향을 가리킨다. 학생들이 풀이를 읽지 않았다는 것이다. 실제로 질문을 그대로 복사하거나 답을 달라고 하는 피상적 질문의 비율은 베이스 쪽이 갈수록 늘었고 튜터 쪽은 줄었다. 더 불편한 대목은, 점수가 떨어진 학생들이 자신이 못 봤다고도 덜 배웠다고도 느끼지 않았다는 점이다.

두 번째는 미시간대 경제학 입문 과목에서 진행된 연구다. 학생 354명과 조교 11명이 참여했고 다수의 에세이가 채점 대상이 됐다. 여기서 AI가 붙는 자리는 학생이 아니라 조교 쪽이다. 채점 기준 항목마다 AI가 통과·미달 판정을 먼저 내고 그 근거가 된 학생 문장을 에세이 위에 표시해, 근거를 보지 않고는 넘어갈 수 없게 만들었다. 학생에게 나가는 피드백 칸은 기본값이 비어 있어 조교가 직접 채워야 했다. 대조군 조교들도 같은 인터페이스와 같은 기준표를 받았고 AI 제한만 없었다.

결과는 양면적이다. AI가 매개한 조건은 0.47에서 시작해 향상폭 0.23을 기록했고, 사람만 쓴 조건은 0.5에서 0.67로 올랐다. 효과 크기는 코헨의 d 기준 0.5로, 50번째 백분위에 있던 학생을 70번째로 옮기는 정도다. 조교들은 AI 판정의 88.7%를 그대로 뒀고 11.3%를 직접 뒤집었는데, 논문은 이 숫자를 AI 단독 운용의 오류 위험이 결코 작지 않다는 근거로 제시한다. 다만 사후 시험 점수는 두 조건 사이에 차이가 없었고 채점 시간도 줄지 않았다.

세 번째는 하버드 물리 입문 수업 연구다. 생명과학 전공자를 위한 과목으로 수강생 233명 중 194명이 분석에 포함됐고, 2주 동안 조건을 맞바꾸는 교차 설계를 썼다. 여기서는 AI 쪽이 앞섰다. 사후 시험 중앙값이 AI군 4.5, 대면 능동학습군 3.5였고 사전 기준선이 2.75였으니 학습 이득이 두 배를 넘는다. 걸린 시간도 AI군이 더 짧았다. 다만 AI 조건은 집에서, 대면 조건은 교실에서 진행됐고 시험이 성적에 반영되지 않았으며, 비교 대상인 능동학습의 효과를 확립한 문헌의 저자와 이 연구 저자가 겹친다는 한계가 함께 밝혀졌다.

주요 인사이트

• 성능을 올리는 설계와 학습을 지키는 설계는 방향이 다르다. AI를 쓰는 동안의 점수와 AI를 치운 뒤의 실력은 같은 축이 아니다.
• 학생이 알아서 잘 쓰면 된다는 답은 성립하지 않는다. 손해를 본 쪽에게 그 손해를 읽어낼 수단이 없었기 때문이다.
• 결정적 차이를 만든 지시문에는 교사가 직접 만든 정답과 오답 유형이 들어 있었다. 모델을 바꾼 것이 아니라 사람이 만든 교육 설계물을 넣은 것이다.
• AI 매개 채점은 시간을 아끼는 도구가 아니라 같은 시간에 더 나은 피드백을 쓰게 하는 도구였다. 비용을 없앤 것이 아니라 옮긴 것이다.
• 아직 아무도 보여주지 못한 것이 남아 있다. 결과물의 품질이 아니라 학생의 실력이 실제로 늘었다는 증거다. 미시간 연구는 그것을 직접 측정했지만 잡아내지 못했다.

자주 묻는 질문

관련 AI 소식