이상 탐지와 설명가능 AI(XAI)로 본 학습 패턴: 접속 시간보다 정말 중요한 것은 무엇인가

핵심 메시지

• 접속을 많이 한 학생이 반드시 합격하는 것은 아니다. 오히려 접속이 뜸했는데 통과한 학생, 성실히 접속했는데 낙제한 학생 같은 '예외'가 존재한다.
• 기존 군집화(K-평균)는 학생을 활동적/비활동적/중간으로 묶어 주지만 '왜'는 설명하지 못한다. 그래서 이상 탐지(Isolation Forest)로 예외를 찾고, 설명가능 AI(SHAP)로 원인을 밝힌다.
• 예외적 합격자의 비결은 총 접속 시간이 아니라 토론 포럼의 질적 참여였다. 짧게 들어와도 게시글을 읽고 쓰며 진득하게 머물렀다.
• 예외적 낙제자의 공통점은 불규칙성과 벼락치기였다. 이 그룹에서는 오히려 한 번에 오래 붙어 있는 긴 세션이 낙제를 예측하는 부정적 신호였다.

쉽게 이해하기

이 영상은 2024년 국제 학술대회에서 발표된 교육 데이터 분석 논문 'Discovering Unusual Study Patterns Using Anomaly Detection and XAI'를 대화 형식으로 풀어 소개합니다. 출발점은 우리가 흔히 아는 상식, 즉 '많이 접속하면 잘하고 안 하면 못한다'는 통념이 데이터에서 어떻게 깨지는지를 살펴보는 것입니다.

연구진은 대학 1학년 회계학 수강생 700여 명의 혼합형 학습(블렌디드 러닝) 데이터를 분석했습니다. 온라인 학습관리시스템(LMS) 접속 기록과 오프라인 수업 데이터를 함께 다뤘고, 먼저 전통적인 K-평균 군집화로 학생을 활동적·비활동적·중간 세 그룹으로 나눴습니다. 이 구분이 자의적 끼워맞추기가 아님을 보이기 위해 실루엣 계수와 홉킨스 통계량 같은 도구로 군집이 통계적으로 뚜렷하게 갈린다는 점을 검증했습니다.

그런데 데이터를 자세히 들여다보자 전체 흐름을 거스르는 예외(아웃라이어)가 나타났습니다. 활동적 그룹의 약 75%는 무난히 통과했지만, 가장 적극적이던 그룹에서 낙제생이 속출하고, 출석과 자료 다운로드가 형편없던 비활동적 그룹에서 당당히 합격하는 학생이 나온 것입니다. 문제는 군집화가 이런 예외를 '묶어 주기만' 할 뿐 이유를 설명하지 못한다는 점이었습니다. 그래서 연구진은 이상 탐지 기법인 Isolation Forest를 도입해 비정상 패턴을 빠르게 걸러냈습니다. 무작위로 데이터를 반씩 쪼갤 때, 평범한 데이터는 여러 번 갈라야 분리되지만 유별난 데이터는 몇 번 만에 홀로 고립된다는 원리입니다.

예외를 찾은 뒤에는 '왜 그런가'를 밝혀야 합니다. 연구진은 게임 이론의 섀플리 값에 뿌리를 둔 설명가능 AI(SHAP)를 써서, 수백 개 지표 중 어떤 행동이 그 학생을 '예외'로 만들었는지 기여도를 배분했습니다. 특히 주목할 점은, 금융·소비 행동 분석에서 쓰이는 경제 지표를 교육 데이터에 차용해 학습 행동을 '폭식(평소엔 안 하다 시험 직전 몰아보기)', 일관성, 규칙성 같은 척도로 새롭게 측정했다는 것입니다.

분석 결과는 통념을 뒤집었습니다. 예외적 합격자는 총 로그인 시간은 짧았지만 토론 포럼 게시글을 읽고 쓰는 비율, 한 번 접속했을 때 머무는 세션 길이가 압도적으로 높았습니다. 즉 자신이 무엇을 모르는지 알고 질문하고 남의 답을 읽는 '질적 참여', 메타인지가 뛰어났습니다. 반대로 예외적 낙제자는 불규칙성과 폭식 지수가 높고 일관성이 바닥이었으며, 이 그룹에서는 긴 세션이 오히려 낙제를 예측하는 치명적 신호였습니다. 인지적 과부하를 무시한 채 한 번에 몰아서 오래 켜 둔 시간이 학습으로 이어지지 않은 것입니다. 이 결론은 다른 학기의 거시경제학 수업 데이터로 교차 검증했을 때도 동일하게 재현되었습니다.

주요 인사이트

• '로그 데이터의 양'은 학습을 보장하지 않는다. 시스템의 접속 기록은 속일 수 있어도 실제 학습 결과는 질적 참여와 규칙성에서 갈린다.
• 군집화(무엇으로 묶이는가)와 이상 탐지·설명가능 AI(왜 예외인가)는 역할이 다르다. 원인을 알아야 개입할 수 있으므로 XAI가 결정적이다.
• 같은 지표라도 그룹에 따라 의미가 뒤바뀔 수 있다. 합격자에게 긍정 신호였던 '긴 세션'이 낙제자에게는 벼락치기의 증거로 작용했다.
• 타 분야(금융·소비 행동)의 지표를 빌려와 '폭식·일관성·규칙성'으로 학습을 재정의한 시도가 예외를 설명하는 열쇠가 되었다.

자주 묻는 질문

관련 AI 소식