비지도 도메인 일반화 정리: 도메인 불변 표현 학습과 대조학습·마스킹 복원 방법론

핵심 메시지

• 학습 데이터와 테스트 데이터의 분포가 달라지는 도메인 시프트는 모델 일반화 성능을 직접 떨어뜨린다.
• 해법의 핵심은 스타일 같은 도메인 고유 특징 대신, 대상 자체를 나타내는 도메인 불변 특징을 학습하게 만드는 것이다.
• 라벨이 붙은 데이터가 부족할 때는 상대적으로 모으기 쉬운 라벨 없는 데이터로 도메인 불변 표현을 추가로 학습하는 접근이 유효하다.
• 첫 번째 방법론은 도메인 라벨을 대조학습에 끌어들여, 같은 도메인 샘플끼리 오히려 멀어지게 만들며 도메인 정보를 지운다.
• 두 번째 방법론은 마스킹 복원만으로 의미와 스타일을 분리해, 다른 도메인의 스타일을 입혀 복원해도 형태가 유지되도록 강제한다.

쉽게 이해하기

발표는 도메인 일반화가 왜 필요한지에서 출발한다. 여러 화풍의 강아지·고양이 이미지로 학습한 모델은 비슷한 스타일의 테스트 데이터는 잘 분류하지만 화풍이 확연히 다른 이미지에서는 어려움을 겪는데, 학습과 테스트의 입력 분포가 달라지는 이른바 공변량 시프트가 생겼기 때문이다. 현실에서도 같은 정상·종양 조직 이미지가 병원의 촬영 장비나 사용 시약에 따라 색감이 달라지고, 병원 1~3의 데이터로 학습한 모델이 병원 4에서는 종양 판별과 무관한 색상 차이에 휘둘려 성능이 떨어질 수 있다. 각 병원을 도메인으로 두면 이 현상이 곧 도메인 시프트이며, 도메인 일반화는 학습에서 한 번도 보지 못한 도메인에서도 잘 작동하는 모델을 만들어 강건성과 신뢰성을 확보하는 것을 목표로 한다.

발표가 집중하는 접근은 도메인 불변 표현 학습이다. 도메인 불변 특징은 강아지의 눈·코·입처럼 스타일이 바뀌어도 변하지 않는, 대상 그 자체를 표현하는 특징이다. 반대로 이미지에 적힌 글씨나 화풍처럼 동물과 직접 관련이 없는 것이 도메인 고유 특징이다. 다만 라벨이 붙은 학습 데이터가 충분치 않으면 이런 공통 특징을 제대로 알려주기 어렵고, 그래서 수집이 쉬운 라벨 없는 데이터를 활용하는 비지도 도메인 일반화가 등장한다. 이때 라벨 없는 데이터가 기존 데이터와 도메인·클래스를 얼마나 공유하는지에 따라 세 가지 상황으로 나뉜다.

첫 번째 방법론은 대조학습에 도메인 정보를 명시적으로 넣는다. 인코더 앞단에서 뽑은 정보로 도메인을 예측하되 역전파는 끊고, MoCo처럼 증강 이미지에서 얻은 키 벡터를 메모리 버퍼에 쌓는데 이때 버퍼를 도메인별로 나눠 둔다. 그리고 도메인 예측 확률을 가중치로 써서, 같은 도메인으로 예측된 과거 샘플들과 현재 표현이 더 멀어지도록 만든다. 같은 화풍끼리 구분되려면 화풍 자체에 의존할 수 없으므로, 결과적으로 도메인 고유 정보를 쓰지 않는 방향으로 표현이 학습된다. 여기에 경사 상승으로 음성 샘플을 일부러 쿼리에 가깝게 만들어 더 어려운 음성 샘플을 만드는 기법이 더해진다.

두 번째 방법론은 마스킹 복원을 이용한 분리 학습이다. 같은 이미지를 두 갈래로 넣어, 마스킹 비율이 높고 더 깊은 의미 인코더에는 본질적인 형태를, 마스킹이 덜하고 얕은 변이 인코더에는 배경과 화풍 같은 스타일을 맡긴다. 핵심은 교차 복원이다. 같은 배치의 다른 도메인 샘플에서 뽑은 스타일 토큰을 붙여 복원하게 하고도 원본 형태를 되살리라고 요구하면, 의미 인코더는 스타일에 휘둘리지 않는 정보만 남기게 된다. 도메인 분류기가 헷갈려 하는 샘플일수록 도메인 불변 정보를 많이 담고 있다고 보고 복원 오차에 더 큰 가중치를 주며, 미세조정 단계에서는 의미 인코더의 CLS 토큰만 분류기에 연결한다.

실험은 DomainNet에서 라벨 데이터 사용 비율을 바꿔가며 진행됐고, 두 방법론 모두 기존 자기지도 학습 기법보다 나은 도메인 일반화 성능을 보였다. 특히 복원 기반 분리 학습이 대조학습 기반 표현 학습보다 좋은 결과를 냈고, 지도 학습 상황에서 분류 헤드를 붙여 종단간으로 학습한 경우 VLCS 벤치마크에서도 기존 도메인 일반화 방법론들을 앞섰다. t-SNE로 보면 의미 인코더의 표현은 도메인 구분 없이 섞여 있고 변이 인코더의 표현은 도메인별 구조를 이루는데, 다만 분포 차이가 크거나 클래스가 아예 다른 경우에는 스타일을 바꿔 복원하는 데 한계가 보였다.

주요 인사이트

• 도메인 시프트는 특별한 사고가 아니라 데이터 수집 환경의 자연스러운 결과다. 병원마다 다른 장비와 시약처럼, 현장에서 모은 데이터에는 과제와 무관한 차이가 늘 섞여 들어간다.
• 라벨 없는 데이터를 쓰는 이유가 분명하다. 라벨링 비용 때문에 학습 데이터가 부족해지면 도메인 간 공통 특징을 알려줄 근거 자체가 줄어드는데, 라벨 없는 데이터는 그 근거를 값싸게 늘려준다.
• 대조학습에서 '같은 도메인끼리 멀어지게' 만드는 발상이 흥미롭다. 비슷한 것을 가깝게 두는 통상적 목표를 뒤집어, 도메인 정보를 쓰면 손해가 되도록 학습 신호를 설계한 것이다.
• 복원 과제만으로 의미와 스타일을 분리했다는 점이 두 번째 방법론의 핵심 기여다. 라벨이 없는 환경에서는 분리 학습이 특히 어려운데, 다른 도메인의 스타일을 입혀 복원시키는 방식으로 이를 우회했다.
• 발표자는 결과를 있는 그대로 평가한다. 성능 차이가 나타난 일부 구간에 대해 논문이 해석을 제시하지 않았다는 점, 준지도 학습 관점이 다뤄지지 않은 점, 분포 차이가 큰 경우 복원 품질이 떨어지는 점을 한계로 짚는다.

자주 묻는 질문

관련 AI 소식