테스트 타임 적응과 엔트로피 최소화 기법, 과확신·모델 붕괴 문제와 BNM·SAR 해결책 정리

핵심 메시지

• 학습에 쓴 데이터와 실제 추론 대상 데이터의 분포가 어긋나면 성능이 떨어지는데, 정답 레이블 없이 이를 보정하려는 기법이 도메인 적응과 테스트 타임 적응이다.
• 엔트로피 최소화는 모델이 확신 있게 예측하도록 밀어붙이는 방식이며, 결정 경계 근처에 몰려 있던 표본을 밀어내 데이터가 뭉친 구조를 따라가게 만든다는 가정에 기대고 있다.
• 하지만 확신만 높이면 소수 클래스가 다수 클래스로 흡수되는 다양성 붕괴가 생기고, 이를 막기 위해 BNM은 예측 행렬의 뉴클리어 노름을 키워 판별력과 다양성을 함께 확보한다.
• 테스트 타임 적응은 데이터가 한 장씩 순차로 들어오고 도메인이 계속 바뀌는 더 어려운 조건이라, 잘못된 예측이 누적되며 모델이 한 클래스만 찍는 붕괴로 이어지기 쉽다.
• SAR은 엔트로피가 높거나 기울기가 큰 불안정한 표본을 걸러내고 손실 지형을 평평하게 만드는 최적화를 더하며, 엔트로피가 비정상적으로 낮아지면 원래 모델로 되돌리는 안전장치를 둔다.

쉽게 이해하기

발표자는 고려대 산업경영공학부 DMQA 연구실의 박사과정 학생으로, 도메인 적응과 테스트 타임 적응 분야에서 널리 쓰이는 엔트로피 최소화 기법을 주제로 잡았다. 문제의 출발점은 간단하다. 이미지 분류 모델을 특정 분포의 데이터로 학습시켜도, 실제로 마주치는 데이터의 분포가 다르면 성능이 떨어진다. 이때 목표 데이터의 오차는 원본 데이터에서의 오차와 두 분포 사이의 차이를 합한 값으로 상한이 정해지므로, 분포 차이를 정량화해 줄이는 것이 연구의 핵심 과제가 된다.

엔트로피 최소화는 그 분포 차이를 간접적으로 줄이는 방법이다. 학습이 끝난 분류기를 고정한 채 레이블 없는 목표 데이터를 넣고, 예측 확률 분포의 엔트로피를 낮추는 방향으로 학습한다. 배경에는 같은 클래스의 데이터가 서로 뭉쳐 있다는 군집 가정이 있다. 결정 경계는 밀도가 낮은 영역을 지나야 하는데, 밀도와 경계 위치를 직접 계산해 미분 가능한 목적 함수로 만들기는 어려우므로, 대신 각 표본의 예측 엔트로피를 낮춰 경계에서 멀어지게 만드는 것이다.

문제는 확신과 정확도가 같지 않다는 점이다. 발표자는 엔트로피가 낮을수록 손실도 낮아진다는 상관관계 분석을 근거로 이 기법의 타당성을 설명하면서도, 가장 큰 부작용으로 다양성 감소를 지목한다. 정답을 모르는 상태에서 애매한 표본은 다수 클래스로 예측하는 편이 안전하므로, 소수 클래스가 통째로 흡수돼도 목적 함수는 만족되어 버린다. 6년 전 발표된 BNM 연구는 예측 확률을 모은 배치 행렬을 놓고, 프로베니우스 노름을 키우는 것이 엔트로피를 줄이는 것과 같은 효과임을 보인 뒤, 다양성까지 확보하려면 행렬의 계수를 키워야 한다고 짚는다.

계수는 직접 최대화하기 어렵고 미분도 되지 않기 때문에, BNM은 계수의 볼록 근사로 알려진 뉴클리어 노름을 대신 키운다. 뉴클리어 노름의 상한이 프로베니우스 노름과 연결돼 있어, 뉴클리어 노름 하나만 최대화해도 판별력과 다양성을 동시에 얻을 수 있다는 것이 논문의 주장이다. 발표자는 특잇값 분해 비용이 문제 되지 않는지, 배치 크기는 어떻게 정해야 하는지 같은 의문을 스스로 던지고, 연산량이 이미지 분류 백본의 순전파에 비해 작은 수준이며 배치 크기는 메모리가 허용하는 한 클래스 수보다 크게 잡는 편이 낫다고 정리한다.

후반부는 더 어려운 상황인 지속적 테스트 타임 적응으로 넘어간다. 노이즈 종류가 시간에 따라 바뀌고 데이터가 한 건씩 들어오는 환경에서는 잘못된 의사 레이블이 누적되고, 엔트로피만 계속 줄이다 보면 한 클래스로만 예측하는 모델 붕괴가 일어난다. 2023년 SAR 연구는 도메인 이동이 클수록 붕괴 직전에 기울기 노름이 급등한다는 관찰에서 출발해, 엔트로피 기준으로 불안정한 표본을 걸러내고 주변 파라미터에서의 최악 엔트로피까지 함께 낮추는 방식으로 손실 지형을 평평하게 만든다. 여기에 엔트로피 이동 평균이 임계값 아래로 떨어지면 원래 모델로 되돌리는 복구 장치를 더했다.

주요 인사이트

• 정답 없이 학습할 때 '확신'을 목표로 삼으면 지름길이 생긴다. 모든 표본을 한 클래스로 찍어도 엔트로피는 최소가 되므로, 목적 함수에 다양성을 함께 넣지 않으면 모델이 학습을 포기하는 해를 고르게 된다.
• 계산하기 어려운 목표를 다루기 쉬운 대리 지표로 바꾸는 과정이 이 분야의 전형적인 전개다. 밀도와 결정 경계 대신 엔트로피를, 미분 불가능한 행렬 계수 대신 뉴클리어 노름을 쓰는 두 번의 치환이 그 예다.
• 배치 통계에 기대는 설계는 현실 조건에서 먼저 무너진다. 배치가 작거나 여러 도메인이 섞이거나 특정 클래스에 치우치면 배치 정규화의 통계량을 믿을 수 없어, 배치와 무관한 정규화 계층을 쓰는 편이 안정적이다.
• 붕괴를 사전에 막기보다 붕괴 징후를 감시해 되돌리는 안전장치가 현실적이다. 엔트로피가 비정상적으로 낮아지는 것을 성공이 아니라 경고로 읽는 관점이 특히 실용적이다.

자주 묻는 질문

관련 AI 소식