대조 학습이란: 라벨 없는 데이터로 표현을 배우는 SimCLR·CLIP과 손실 함수 정리

핵심 메시지

• 대조 학습은 비슷한 데이터끼리는 임베딩 공간에서 가깝게, 다른 데이터끼리는 멀게 배치되도록 표현을 학습하는 방법이다.
• 핵심 발상은 '인스턴스 판별'이다. 어떤 데이터가 한 묶음이고 어떤 데이터가 아닌지를 모델이 스스로 구분하게 만든다.
• 라벨이 없을 때는 데이터 증강이 라벨 역할을 대신한다. 자르기·색 변경·회전·잡음 추가로 원본의 양성 짝을 인위적으로 만들어 낸다.
• 증강의 품질이 표현의 품질을 좌우하며, 같은 고양이 사진이 음성 샘플로 섞이는 '거짓 음성' 문제도 함께 따라온다.
• 손실 함수들은 유사도를 재는 척도, 고려하는 음성 샘플의 개수, 정규화·마진·온도 같은 조정 장치에서 갈릴 뿐 인스턴스 판별이라는 뼈대는 같다.

쉽게 이해하기

요즘 머신러닝의 성능은 데이터를 어떤 형태로 바꿔 두느냐, 즉 표현(representation)에 크게 좌우된다. 심층 신경망은 그 자체가 표현 학습기여서, 층을 지날수록 고차원 입력을 압축된 저차원 표현으로 바꾸고 그 덕분에 특징 공간이 훨씬 쉽게 나뉜다. 지도 학습에서는 우리가 붙인 라벨을 기준으로 임베딩 공간이 정리되지만, 라벨이 아예 없다면 무엇을 기준으로 삼아야 할까. 대조 학습은 그 물음에 대한 하나의 답이다.

대조 학습의 기본 발상은 인스턴스 판별이다. 함께 묶여야 할 데이터와 그렇지 않은 데이터를 모델이 구분하도록 훈련한다. 라벨이 있는 경우에는 같은 클래스끼리 묶으면 되므로 간단하고, 연구에 따르면 이렇게 학습한 지도 대조 학습은 교차 엔트로피 같은 고전적 손실보다 더 나은 표현을 만들고 더 강건하기도 하다.

더 흥미로운 쪽은 라벨이 전혀 없는 자기지도 방식이다. 여기서는 데이터 증강이 라벨을 대신한다. 원본 이미지를 조금씩 변형해 만든 결과물을 '같은 것'으로 취급하고, 같은 배치 안의 나머지 데이터를 '다른 것'으로 둔다. 다만 두 가지를 조심해야 한다. 변형이 원본과 충분히 가까우면서도 다른 샘플과는 멀어야 하고, 우연히 다른 고양이 사진이 음성 샘플로 들어오는 거짓 음성이 생길 수 있다.

이렇게 얻은 표현은 라벨이 적은 상황에서 특히 값지다. 이미지에서는 군집화·분할·객체 검출 같은 후속 과제에 그대로 쓰이고, 자연어 처리에서도 범용 텍스트 임베딩이 분류나 질의응답 같은 작업에 재활용된다. 발상 자체는 1992년 베커와 힌턴의 연구, 그리고 데이터 쌍의 비교를 핵심에 둔 샴 네트워크까지 거슬러 올라간다.

대표 사례로 SimCLR은 라벨 없는 데이터만으로 ImageNet에서 지도 학습에 준하는 성능을 냈고 여러 증강을 조합하는 일이 얼마나 중요한지를 강조했으며, CLIP은 이미지와 텍스트에 같은 아이디어를 적용하되 짝이 이미 알려져 있어 자기지도 방식은 아니다. 손실 함수에도 계보가 있다. 2005년의 대조 손실은 유클리드 거리로 양성 쌍을 끌어당기고 음성 쌍은 일정 마진 밖으로만 밀어내 '최대 마진 손실'로도 불리며, 2015년 구글 연구진의 트리플렛 손실은 기준·양성·음성 셋을 한꺼번에 다뤄 지시 함수를 없앴고 음성을 여러 개로 늘린 N-쌍 손실로 확장됐다. SimCLR이 쓴 NT-Xent는 코사인 유사도를 쓰고 배치 안의 나머지 전부를 자동으로 음성으로 삼으며, 소프트맥스와 로그로 정규화한 뒤 온도라는 값으로 거리의 규모를 조절한다.

주요 인사이트

• 라벨은 정보의 유일한 원천이 아니다. '같은 사진을 조금 바꾼 것'이라는 사실만으로도 학습 신호를 만들 수 있다는 점이 자기지도 학습의 출발점이다.
• 증강 설계가 곧 모델 설계다. 변형이 너무 약하면 배울 것이 없고 너무 강하면 원본과 다른 것이 되어 버린다.
• 거짓 음성 문제는 이 방식의 구조적 약점이다. 배치 안의 다른 고양이 사진까지 '틀린 짝'으로 밀어내면서 표현이 왜곡될 수 있다.
• 손실 함수를 고르는 일은 사실상 세 가지 선택으로 압축된다. 유사도를 무엇으로 재는가, 음성을 몇 개나 보는가, 어떤 정규화와 마진과 스케일을 붙이는가.
• 대조 학습은 이미지 전용 기법이 아니다. 텍스트 임베딩, 이미지-텍스트 결합까지 같은 뼈대가 그대로 옮겨 간다.

자주 묻는 질문

관련 AI 소식