시각 AI 인간 정렬 문제: 이미지넷 정확도가 오를수록 사람의 시선과 멀어지는 딥러닝 모델

핵심 메시지

• 이미지넷에서 딥러닝 모델은 이미 사람 수준을 넘어섰다. 발표자가 350여 개 모델을 사람과 같은 기준으로 평가했더니 약 30%가 사람의 신뢰구간 안에 들었고 4%는 훈련받은 사람 참가자 전원보다 정확했다.
• 그러나 같은 정답을 내놓는다고 같은 방식으로 보는 것은 아니다. 사람이 중요하다고 짚은 이미지 영역과 모델이 실제로 반응한 영역을 비교하면, 2019년 무렵을 기점으로 모델이 정확해질수록 사람과의 일치도는 오히려 떨어진다.
• 같은 역전 현상이 뇌 반응 예측 지표에서도 나타난다. 더 크고 더 정확한 최신 모델이 영장류 시각피질 데이터를 설명하는 능력은 오히려 더 나쁘다.
• 이 어긋남은 구조의 한계가 아니다. 사람의 중요도 지도와 모델의 그래디언트가 일치하도록 함께 최적화하는 '하모나이제이션'을 적용하면 CNN도 트랜스포머도 사람과 비슷한 전략을 학습하고, 분류 정확도는 유지되거나 조금 올라간다.
• 핵심 질문은 '왜 그냥 두면 그렇게 학습하지 않는가'로 옮겨간다. 발표자 연구실은 정적인 이미지 대신 영상 데이터로 학습시키는 실험을 진행 중이며, 다음 프레임을 예측하는 자기지도학습이 지금까지 가장 좋은 결과를 냈다.

쉽게 이해하기

MIT CBMM 여름학교 강연에 나선 브라운대의 토마스 세르는 시각 인식 연구를 신경과학과 컴퓨터 비전 양쪽에서 해온 연구자다. 그는 사람의 시각을 시간적 한계까지 밀어붙이는 '빠른 시각 범주화' 실험에서 이야기를 시작한다. 이미지를 아주 짧게 스치듯 보여주고 동물이 있는지 없는지를 최대한 빨리 답하게 하면, 시각계는 눈을 움직이거나 주의를 옮길 여유 없이 처음 100~150밀리초의 처리만으로 판단해야 한다. 흥미로운 점은 이때 사람들이 무작위로 틀리지 않는다는 것이다. 어떤 이미지에서 틀리고 어떤 이미지에서 맞히는지의 패턴이 참가자들 사이에서, 심지어 원숭이와도 상당히 일치한다. 빠른 인식에도 일관된 전략이 있다는 뜻이다. 이 관찰은 오랫동안 계층적 순방향 모델을 뒷받침했다. 후쿠시마의 네오코그니트론이나 세르 자신이 박사과정에서 다룬 HMAX 모델은 합성곱, 비선형 정류, 나눗셈 정규화, 그리고 위치·크기 불변성을 만드는 최대값 풀링이라는 네 가지 연산의 반복만으로 전기생리 데이터와 사람의 행동 패턴을 함께 설명했다. 신경과학이 합성곱 신경망에 기여한 대목이다. 그 뒤의 역사는 알려진 대로다. 2012년 알렉스넷은 사실상 조금 더 넓어지고 역전파로 학습된 HMAX에 가까웠고, 이후 VGG의 작은 필터 쌓기나 레스넷의 건너뛰기 연결 같은 공학적 기법이 쌓이며 성능이 폭발했다.

문제는 '같은 정답'과 '같은 전략'을 혼동할 때 생긴다. 세르 연구실은 사람의 전략을 대규모로 측정하기 위해 '클릭미'라는 게임을 만들었다. 참가자는 교사가 되어 이미지 위를 붓질하듯 문질러 일부만 학생에게 드러내고, 학생은 그 조각만으로 대상을 최대한 빨리 알아맞혀야 한다. 잘하려면 어디가 가장 정보가 많은지 스스로 따져봐야 하므로, 결과로 얻는 지도는 사람이 어디를 결정적으로 보는지를 보여준다. 동물 사진에서는 눈과 코 같은 얼굴 부위, 자동차에서는 바퀴나 전면 그릴에 표시가 몰렸고, 참가자 절반과 나머지 절반의 지도를 비교하면 상관이 0.65 정도로 일관됐다. 1,000명가량이 참여해 이미지넷 일부 20만 장의 지도를 모았고, 현재는 이미지넷 전체의 95% 정도까지 확장돼 있다.

모델 쪽에서는 출력에 대한 입력 픽셀의 기울기를 계산하는 방식으로 같은 성격의 중요도 지도를 얻는다. 두 지도를 겹쳐 상관을 재면 결과는 인상적이지 않다. 최신 모델일수록 사람이 보는 곳을 거의 피해 다닌다. 오래된 CNN 시절에는 정확도가 오르면 사람과의 일치도도 함께 올랐지만, 2019년 무렵의 모델을 기점으로 추세가 꺾여 정확도와 정렬이 반대로 움직인다. 세르는 뇌 반응 데이터로도 같은 확인을 했다. 브레인스코어와 협력 연구실의 IT 영역 데이터 모두에서, 최신 대형 모델은 신경 반응을 설명하는 능력이 더 떨어졌다. 정확도만 좇는 확장이 생물학적 타당성을 담보하지 않는다는 이야기다.

그렇다면 구조 자체가 한계인가. 세르 연구실은 그렇지 않다고 본다. 학습할 때 분류 손실만 최적화하는 대신, 모델의 기울기가 사람의 중요도 지도와 일치하도록 강제하는 '하모나이제이션'을 함께 적용해봤다. 기울기의 기울기를 쓰는 방식이라 전부 미분 가능하고, 실제로 작동했다. 원래 정렬이 나빴던 VGG나 ViT가 사람 수준의 잡음 한계에 가까울 만큼 정렬됐고, 정확도는 떨어지기는커녕 소폭 올랐다. 더 흥미로운 것은 이 모델들이 뇌 데이터를 한 번도 본 적이 없는데도 신경 반응 설명력까지 함께 좋아졌다는 점이다. 사람의 심리물리 데이터라는 작은 귀납 편향을 학습에 얹는 것만으로 기존의 타협 곡선을 넘어설 수 있었다는 뜻이다.

다만 억지로 맞춘 정렬은 과학적 설명이 아니다. 세르가 진짜 궁금해하는 것은 '사람은 어떤 발달과 학습 과정을 거쳐 그런 표상을 얻는가, 그리고 왜 모델은 그냥 두면 그렇게 학습하지 않는가'다. CNN이든 트랜스포머든 하모나이제이션이 통한다는 사실은 문제의 원인이 구조보다 학습 방식과 데이터에 있음을 시사한다. 그래서 연구실은 정적인 인터넷 이미지 대신 물체 주위를 도는 영상 데이터셋을 쓰고, 컴퓨터 그래픽 모델로 카메라 경로까지 통제해 새 영상을 합성한 뒤 여러 자기지도학습 목표를 비교하고 있다. 흩어진 조각을 메우는 방식은 별 효과가 없었고, 시공간 덩어리를 복원하는 방식은 정렬이 올라가되 정확도를 깎아먹었으며, 다음 프레임을 예측하는 자기회귀 방식이 정렬과 정확도를 함께 끌어올렸다. 강연 말미에 그는 현실적인 제약도 솔직하게 털어놨다. 클라우드 크레딧 30만 달러를 지원받아 모델 다섯 개를 시험했지만 끝까지 학습시키지도 못했다는 것이다. 학습·발달 원리를 탐색하려면 조합해야 할 손실 함수와 데이터 구성이 방대한데, 대학 연구실이 감당할 연산 비용이 병목이라는 점을 그는 이 분야의 가장 큰 한계로 꼽았다. 신경과학과 AI의 관계에 대한 그의 전망도 분명하다. 시각 분야에 한해서는 신경과학이 AI에 줄 것은 점점 줄어들지만, 반대로 AI는 예측 부호화 같은 오래된 가설을 실제로 구현해 검증할 수단을 신경과학에 제공하며 그 방향의 기여는 점점 커질 것이라는 이야기다.

주요 인사이트

• 벤치마크 정확도는 시스템이 '무엇을 맞혔는가'만 말해줄 뿐 '어디를 보고 맞혔는가'는 말해주지 않는다. 과매개변수화된 모델에서 해는 유일하지 않으므로, 같은 점수를 받은 두 시스템이 전혀 다른 근거를 쓸 수 있다.
• 정확도와 인간 정렬이 함께 오르던 시기가 끝났다는 관찰은, 확장만으로 생물학적 타당성까지 따라온다는 기대에 대한 구체적인 반례다.
• 사람의 주의 데이터를 학습 신호로 얹었더니 뇌 데이터를 본 적 없는 모델의 신경 반응 설명력까지 좋아졌다는 결과는, 서로 다른 정렬 지표들이 공통 원인을 공유할 가능성을 시사한다.
• 하모나이제이션 이후 적대적 공격이 사람이 중요하게 보는 픽셀을 노리게 바뀌었다는 점은, 모델의 취약점이 어디에 놓이는지가 학습 목표에 따라 달라진다는 것을 보여준다.
• 산업계 자기지도학습은 영상을 주로 '데이터를 더 얻는 창구'로 쓰고 시간적 연속성 자체를 거의 활용하지 않는다는 지적은, 아직 비어 있는 연구 공간이 남아 있다는 신호다.

자주 묻는 질문

관련 AI 소식