AI 원격 시험 감독의 편향 정리 — 점수 17.2점 하락과 피부색에 따른 의심 플래그 5배 격차

핵심 메시지

• 마이애미대 연구팀이 같은 온라인 과목의 여러 분반을 비교한 결과, 감독 소프트웨어를 켠 시험의 평균 점수가 켜지 않은 시험보다 17.2점 낮았고 신뢰구간은 14~20점이었다.
• 미네소타대·메트로폴리탄주립대가 학생 631명의 시험불안을 미리 측정한 연구에서는, 불안이 높은 학생들이 온라인 감독 상황에서 유독 더 크게 점수가 떨어졌다.
• 루이빌대가 학생 357명분의 시험 영상 298개를 분석하자 얼굴 검출률은 밝은 피부 92%, 중간 87%, 어두운 피부 78%로 나타났다.
• 의심 표시는 평가 한 번당 1.19회·1.91회·6.07회로 약 다섯 배 차이가 났고, 가장 어두운 피부의 여성 학생은 밝은 피부의 여성 학생보다 5.6배 많이 표시됐다.
• 영상은 플래그를 증거가 아니라 확인 대상으로만 쓰고, 검토 결과를 집단별로 나눠 보며, 수집 범위와 보관 기간을 미리 정해 알릴 것을 제안한다.

쉽게 이해하기

원격 시험 감독 소프트웨어의 효과를 확인한 실험은 단순했습니다. 마이애미대 연구팀이 같은 온라인 과목의 학생 147명을 절반은 감독 없이, 절반은 감독 소프트웨어를 켜고 시험 보게 한 뒤 결과를 비교했습니다. 감독을 켠 쪽의 평균 점수가 17.2점 낮았고, 문제를 푸는 시간도 유의하게 짧아졌습니다. 학점으로 치면 두 등급에 해당하는 차이입니다.

이 숫자를 읽는 방법은 두 가지입니다. 하나는 감독이 없을 때 부정행위가 있었다는 해석으로, 풀이 시간이 짧아진 것도 자료를 뒤지거나 검색할 시간이 사라졌다는 방향과 맞습니다. 영상은 이 해석이 상당 부분 맞다고 인정하면서도, 감시 자체가 실력을 깎았을 가능성을 함께 봅니다. 미네소타대와 메트로폴리탄주립대가 학생 631명의 시험불안 성향을 미리 재둔 연구에서, 불안이 높은 학생들만 온라인 감독 상황에서 특히 더 떨어졌기 때문입니다. 결국 17.2점은 사라진 부정행위와 감시로 깎인 실력이 섞인 값이고, 그 비율은 아무도 모릅니다.

더 큰 문제는 이 감시의 대가를 모두가 똑같이 치르지 않는다는 점입니다. 루이빌대 연구팀이 2022년에 학생 357명분의 시험 영상 298개를 상용 감독 소프트웨어로 돌려 기록을 분석했습니다. 얼굴 검출률은 밝은 피부 92%, 중간 87%, 어두운 피부 78%였고, 의심 표시 횟수는 평가당 1.19회·1.91회·6.07회로 벌어졌습니다. 시험 시간 중 표시가 붙어 있던 비율도 1.56%·3.3%·7.64%로 같은 방향이었으며, 가장 흔한 플래그는 '화면에서 사라졌다'였고 어두운 피부 학생은 평균 4.79회를 받았습니다.

격차는 축이 겹칠 때 더 커집니다. 가장 어두운 피부의 여성 학생은 밝은 피부의 여성 학생보다 5.6배 더 많이 플래그를 받았습니다. 워싱턴대 연구팀이 편의 지원을 받는 장애 학생들을 인터뷰한 결과도 비슷한 부담을 보여줍니다. 학생들은 자기 몸의 움직임이 부정행위로 오해될까 걱정하며 시험을 봤고, 문제 풀이에 써야 할 주의를 카메라 앞에서 어떻게 보일지에 쓰게 됐다고 말합니다. 연구팀은 이를 인지 부하 증가라고 표현했습니다.

시험이 끝난 뒤의 문제도 남습니다. 2020년 한 원격 감독 업체에서 사용자 기록 약 44만 4천 건이 해킹 커뮤니티에 올라왔고, 이름과 이메일, 실제 주소, 전화번호, 암호화되지 않은 비밀번호가 포함돼 있었습니다. 이 업계가 다루는 자료에는 얼굴과 신분증, 방 안의 모습이 함께 있는데 이것들은 비밀번호처럼 바꿀 수 없습니다. 2022년 미국 연방법원은 클리블랜드주립대가 시험 전 학생의 방을 카메라로 훑게 한 것을 수정헌법 제4조가 금지하는 부당한 수색으로 판단했지만, 그 판단이 해당 학생의 사정에 한정된다는 점도 분명히 했습니다.

주요 인사이트

• 감독을 켠 뒤 점수가 떨어진 것을 그대로 부정행위의 크기로 읽으면, 학교는 자기 학생들의 실력을 과소평가하게 된다.
• 플래그가 곧 처벌은 아니고 사람이 검토하지만, 검토 대상 목록에 다섯 배 자주 오른다면 그 학생은 다섯 배 자주 의심받는 상태로 학기를 보내게 된다.
• '조명을 밝게 하면 되지 않느냐'는 해법은 학생에게 자기 방을 알고리즘에 맞추라고 요구하는 것이어서, 부담을 없애는 게 아니라 옮기는 것이다.
• 비밀번호는 바꾸고 주소는 이사하면 되지만 얼굴과 신분증, 방 안의 모습은 되돌릴 수 없다. 시험 한 번을 감독하려고 평생 바꿀 수 없는 정보를 내놓게 하는 거래인지 따져야 한다.
• 전부 감독하기보다 감독이 꼭 필요한 시험이 무엇인지 먼저 줄이는 편이 비용도 부담도 적다.

자주 묻는 질문

관련 AI 소식