심층신경망 뇌 반응 예측 모델의 분포 밖 일반화 실패와 MacaqueITBench 데이터셋 공개

핵심 메시지

• 오늘날 뇌 모델 대부분은 심층신경망에 기대고 있는데, 이 모델들은 훈련에 쓴 데이터와 크게 다른 입력에서 일반화에 실패한다는 사실이 이미 잘 알려져 있다.
• 연구팀은 신경 데이터를 이미지 속성 기준으로 갈라 훈련과 평가에 나눠 썼고, 저대비 이미지로 학습한 모델이 고대비 이미지에서 일반화하지 못하는 것을 확인했다.
• 대비뿐 아니라 색조, 색온도, 밝기 등 이미지에서 계산 가능한 여러 지표에서 같은 실패가 반복됐다.
• 뇌 모델이 훈련 데이터에서만 작동한다면 만족스러운 모델이라고 보기 어렵다는 것이 연구팀의 문제의식이다.
• 연구팀은 30만 장이 넘는 이미지에 대한 원숭이 하측두엽 피질 반응을 모은 대규모 데이터셋을 분포 내·분포 밖으로 나눠 공개했다.

쉽게 이해하기

발표자는 하버드대 컴퓨터과학 박사과정이자 보스턴 아동병원 연구 제휴 연구원인 스판단 마단이다. 그의 관심사는 기계가 왜 훈련 데이터 분포 밖에서 일반화하지 못하는가에 있다. 사람은 처음 보는 상황에도 별다른 노력 없이 적응하지만 기계는 그렇지 못하다는 오래된 간극이다.

이 연구는 인공지능을 다뤄 온 연구자와 뇌를 다뤄 온 연구자가 만나면서 시작됐다. 신경과학에서 가장 큰 난관은 대규모 데이터를 모으는 일이다. AI에서는 인터넷에서 내려받으면 그만이지만, 신경 데이터는 실제 뇌에서 직접 기록해야 한다. 공동 연구자들이 모은 대규모 신경 반응 데이터가 있었기에 이번 분석이 가능했다.

검증 방식은 단순하고 직접적이다. 신경 데이터를 이미지 속성에 따라 조각으로 나눈 뒤, 저대비 이미지를 훈련 집합으로 삼고 고대비 이미지를 평가 집합으로 삼았다. 결과는 분명했다. 뇌 반응을 잘 예측하는 것처럼 보이던 모델들이 분포 밖 데이터에서는 일반화하지 못했다. 색조와 색온도, 밝기처럼 이미지에서 계산할 수 있는 다른 지표로 나눴을 때도 같은 결과가 나왔다.

발표자는 뉴턴의 법칙에 빗대 문제를 설명한다. 뇌 모델이라면 어떤 이미지로 시험하든 작동해야 한다. 뉴턴의 법칙이 행성에는 통하는데 머리 위로 떨어진 사과에는 통하지 않는다면 그것을 만족스러운 법칙이라고 부르기 어렵듯, 훈련 데이터에서만 맞는 모델을 뇌의 모델이라고 부르기는 어렵다는 것이다.

연구팀은 지적에 그치지 않고 도구를 함께 내놓았다. 원숭이 하측두엽 피질에서 기록한 대규모 신경 반응 데이터셋을 누구나 내려받을 수 있게 공개했고, AI 연구자들이 바로 쓸 수 있도록 분포 내 데이터와 분포 밖 데이터로 나눠 두었다. 일반화 문제는 AI 쪽에서 오래 다뤄 온 주제인 만큼, 신경과학 연구자들에게도 이 문제가 중요해지길 바란다는 것이 발표의 결론이다.

주요 인사이트

• 이 연구가 겨냥하는 것은 모델의 정확도 수치가 아니라 평가 방식 자체다. 훈련과 평가를 같은 분포에서 무작위로 나누면 모델이 실제로 시각 피질의 계산을 담아냈는지, 아니면 데이터 분포의 통계를 외웠는지 구분할 수 없다.
• 분할 기준으로 이미지에서 계산 가능한 지표를 쓴 점이 실용적이다. 대비나 색조, 밝기처럼 이미지에서 바로 뽑아낼 수 있는 값으로 데이터를 나누면 사람이 임의로 범주를 정하지 않고도 재현 가능한 분포 밖 평가 조건을 만들 수 있다.
• AI와 신경과학이 같은 문제를 서로 다른 이름으로 다뤄 왔다는 점이 드러난다. 분포 밖 일반화는 AI에서 오래된 난제였지만 뇌 모델의 타당성을 판단하는 기준으로는 충분히 쓰이지 않았고, 이 연구는 두 분야를 그 지점에서 만나게 하려 한다.
• 데이터와 분할까지 함께 공개한 방식이 실질적인 기여다. 신경 데이터 수집 자체가 병목인 분야에서, 이미 나뉜 평가 세트를 제공하는 것은 다른 연구자들이 같은 질문을 반복 검증할 수 있게 만드는 가장 확실한 방법이다.

자주 묻는 질문

관련 AI 소식