AI VIDEO BRIEFING

딥러닝 시각 모델과 인간 시각의 정렬 문제, 성능이 오를수록 멀어지는 이유와 해법

브라운대 토마 세르 교수가 MIT 강연에서 이미지 분류 정확도가 인간을 넘어선 딥러닝 모델들이 오히려 사람과 전혀 다른 단서를 본다는 측정 결과와, 이 어긋남을 되돌리는 학습 기법 및 새로운 데이터 설계 방향을 함께 설명했다.

출처: MITCBMM2025년 2월 24일AI 보조 요약

이미지넷에서 사람을 이긴 AI는 왜 사람과 다르게 보고 있을까 영상 대표 이미지

핵심 메시지

이미지 분류 정확도에서 상당수 딥러닝 모델이 이미 인간 수준에 도달했거나 이를 넘어섰다.
그러나 성능이 오를수록 모델이 판단에 쓰는 이미지 영역은 사람이 보는 곳에서 점점 멀어지는 역전 현상이 나타난다.
사람의 시각 전략은 '클릭미'라는 게임으로 대규모 수집됐고, 이미지의 1~4%만 보여줘도 사람이 빠르게 분류해 낼 만큼 정확한 단서를 담고 있다.
학습 중에 모델의 주의 지도를 사람의 것과 가깝게 만드는 손실을 추가하면 정렬과 정확도를 동시에 개선할 수 있다.
이 방법이 모든 구조에서 통한다는 사실은 문제의 원인이 아키텍처가 아니라 학습 데이터와 학습 과제에 있음을 시사한다.

쉽게 이해하기

브라운대학교의 토마 세르 교수가 MIT의 뇌·마음·기계 연구센터 강연에서 딥러닝 시각 모델과 사람의 눈이 얼마나 같은 방식으로 세상을 보는지 측정한 연구를 소개했다. 그는 먼저 성능 이야기부터 꺼냈다. 2012년 알렉스넷이 이미지넷 분류에서 65% 남짓의 정확도를 보인 이후 매년 새 구조가 나오며 정확도가 꾸준히 올랐고, 2020년 한 논문은 특정 모델이 이미 사람 수준에 도달했다고 평가했다.

연구팀이 널리 쓰이는 사전학습 모델 모음에서 367개를 추려 인간 신뢰 구간과 비교한 결과, 약 14%가 인간 수준 안에 들어왔고 4%가량은 사람을 넘어섰다. 흥미로운 곁가지도 있었다. 2000년대에 뇌를 본떠 만든 옛 모델을 오늘날의 기법으로 다시 학습시키자 정확도가 40%대에서 75%까지 올랐는데, 이는 진보의 상당 부분이 구조 자체보다 학습 기법의 누적에서 왔음을 보여준다.

그러나 정확도가 같다고 해서 같은 방식으로 문제를 푸는 것은 아니다. 세르 교수는 모델이 어떤 픽셀을 근거로 판단했는지 보여주는 기여도 지도를 뽑고, 사람 쪽에서도 같은 정보를 얻기 위해 '클릭미'라는 게임을 만들었다. 참가자는 교사가 되어 이미지의 일부만 칠해 학생에게 보여주고, 학생이 빨리 알아맞힐수록 점수를 얻는다. 2019년 6개월 동안 1만 2천 명이 참여해 50만 장 분량의 지도가 모였고, 이후 지원을 받아 재개된 게임은 참가자가 두 배로 늘어 이미지넷의 99%를 덮었다.

두 지도를 나란히 놓으면 차이는 눈으로도 보인다. 사람은 동물이면 눈과 코, 입 주변에, 자동차면 바퀴와 전면 그릴에 집중한다. 반면 딥러닝 모델의 지도는 넓게 흩어져 있고 전경보다 배경 단서를 더 많이 쓰는 경향이 있다. 정확도를 가로축에, 사람과의 일치도를 세로축에 놓고 모델들을 뿌려 보면 초반에는 둘이 함께 올라가지만, 최신 고성능 모델 구간에서 추세가 꺾여 성능이 좋을수록 사람과 멀어지는 파레토 전선이 나타났다.

연구팀은 이 전선을 깨는 방법으로 '조화'라 이름 붙인 기법을 제시했다. 모델이 이미지를 분류하도록 학습하는 동안, 그 판단 근거가 되는 주의 지도를 사람의 클릭미 지도에 가까워지도록 강제하는 손실을 함께 넣는 것이다. 결과적으로 사람과의 일치도가 크게 올랐고, 정확도까지 조금 좋아져 둘 사이에 반드시 맞바꿈이 필요한 것은 아님이 드러났다. 같은 모델을 원숭이 하측두엽 신경 반응 예측에 적용했을 때도, 그리고 적대적 공격에 대한 강건성을 볼 때도 같은 방향의 개선이 확인됐다.

주요 인사이트

사람의 클릭미 지도에서 상위 1~4%에 해당하는 픽셀만 보여줘도 참가자들은 빠르게 제시된 이미지를 안정적으로 분류했다. 무작위로 고르거나 기존 돌출도 알고리즘으로 고르면 최소 열 배 이상의 픽셀이 필요했다.
CNN이든 트랜스포머든 시험해 본 모든 구조가 사람과 정렬되도록 조정 가능했다는 점에서, 세르 교수는 불일치의 원인이 아키텍처가 아니라 학습 데이터와 최적화 과제에 있다는 가설을 세웠다.
적대적 공격 실험에서 조화 학습을 거친 모델은 적대적 학습만큼의 강건성에는 못 미쳤지만, 공격이 겨냥하는 픽셀이 사람에게도 의미 있는 부위로 옮겨 갔다. 공격이 사람 눈에 더 잘 띄게 된다는 뜻이다.
대안적 학습 데이터로는 사람이 아이폰으로 일상 사물 주위를 돌며 찍은 영상 데이터셋에 최신 렌더링 기법을 적용해 회전·이동·확대 같은 매끄러운 변환 시퀀스를 만들어 냈다. 18개월 아기에게 시선 추적 장치를 씌워 새 장난감을 다루는 모습을 기록한 데이터도 참고 사례로 제시됐다.
학습 과제를 바꾼 예비 실험에서는, 무작위 패치를 가리고 복원시키는 방식이 정확도를 오히려 떨어뜨린 반면 다음 프레임을 순차적으로 예측하게 하는 방식이 더 유망한 방향으로 나타났다.

자주 묻는 질문

'클릭미'는 어떤 방식으로 사람의 시각 전략을 수집하나요?

참가자는 이미지와 그 정답 이름을 받은 교사 역할을 맡아, 이미지의 어느 부분을 칠해 학생에게 보여줄지 고릅니다. 학생이 빨리 알아맞힐수록 교사가 점수를 얻기 때문에, 참가자는 자연히 그 물체를 알아보는 데 가장 결정적인 부위를 칠하게 됩니다. 초기에는 사람끼리 짝을 지었지만 짝을 맞추기 어려워, 학생 자리에 딥러닝 모델을 대신 넣어도 같은 결과가 나온다는 점을 확인하고 규모를 키웠습니다.

'조화' 기법은 구체적으로 무엇을 바꾸나요?

모델 구조를 바꾸지 않고 학습 목표에 항목을 하나 더합니다. 이미지를 정확히 분류하라는 기존 목표에 더해, 그 판단의 근거가 되는 기여도 지도가 사람에게서 모은 클릭미 지도와 최대한 비슷해지도록 강제하는 손실을 넣는 것입니다. 그 결과 모델은 어떤 픽셀에 의존할지 마음대로 고르지 못하고 사람이 중요하게 본 부위를 쓰게 되며, 성능을 크게 희생하지 않고도 사람과의 일치도가 뚜렷하게 올라갑니다.

정확도가 사람을 넘어섰는데도 정렬을 따지는 이유는 무엇인가요?

같은 점수를 받았다고 해서 같은 방식으로 풀었다는 보장이 없기 때문입니다. 실제로 모델의 기여도 지도는 넓게 흩어져 있고 배경 단서에 많이 기대는데, 이는 학습 분포에서 조금만 벗어나도 사람이라면 하지 않을 이상한 실패를 낼 수 있다는 뜻입니다. 강연에서는 사람 눈에 거의 보이지 않는 미세한 변형만으로 모델이 속아 넘어가는 적대적 공격이 그런 어긋남의 대표적인 증상으로 제시됐습니다.

원문과 출처

이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.

YouTube 원본 영상 보기 ↗