대조 학습 실습 정리: 라벨 없이 3D 포인트 클라우드 표현 학습하기 (파이토치)

핵심 메시지

• 대조 학습은 같은 데이터의 두 변형을 가깝게, 다른 데이터를 멀리 배치하도록 학습해 라벨 없이 표현을 얻는 방법이다.
• 어떤 증강을 고르느냐가 모델이 무엇을 특징으로 삼을지를 사실상 결정한다.
• 점군은 점의 개수가 제각각이고 순서도 없어, 입력 순서에 영향받지 않는 구조가 필요하다.
• 이웃 관계를 엣지 특징으로 학습하는 방식이 앞선 점군 모델들보다 성능과 속도 모두 나았다고 소개된다.
• 대조 학습은 배치가 클수록 비교할 음성 표본이 늘어 유리하지만, 무료 실습 환경에서는 메모리가 발목을 잡는다.

쉽게 이해하기

대조 학습 튜토리얼의 두 번째 편으로, 이번에는 3D 점군 데이터를 대상으로 프레임워크를 직접 구현한다. 발표자는 본론에 앞서 지난 편에서 손실 함수를 설명하며 저지른 실수를 정정하는데, 온도 파라미터가 지수 항 안에 들어가야 한다는 점, 코사인 유사도의 범위는 0에서 1이 아니라 -1에서 1이라는 점, 분모에는 음성 표본만이 아니라 양성 표본도 함께 들어가고 자기 자신과의 비교만 제외된다는 점을 짚는다. 온도는 유사도 분포가 얼마나 뾰족해질지를 조절해 임베딩 공간의 밀집도에 영향을 주며, 0.1이나 0.2 같은 작은 값이 흔히 쓰인다고 덧붙인다.

데이터는 여러 형태의 3D 점군이 담긴 공개 데이터셋에서 테이블과 램프, 기타, 오토바이 네 종류만 골라 쓴다. 자기지도 학습이므로 범주 정보는 아예 없다고 가정하고, 각 점의 정규화된 3차원 좌표만 사용한다. 증강으로는 무작위로 잡음을 더하는 방식과 뒤집기, 한 축으로 밀어내는 변형을 조합했다. 회전을 쓰지 않은 이유가 흥미로운데, 사용하는 층이 회전에 대해 불변이면 그 증강은 아무 효과도 내지 못하기 때문이다. 발표자는 증강이 학습되는 표현에 편향을 심는다는 점도 경고한다. 색을 그대로 두고 자르기만 반복하면 배경색만 학습하는 결과가 나올 수 있다는 예가 나온다.

점군을 신경망에 넣는 방법으로는 네 가지 접근이 비교된다. 3차원 격자에 올려 3D 합성곱을 적용하는 방식은 빈 공간이 많아 비효율적이고, 여러 각도에서 2D 스냅숏을 찍는 방식은 효율적이지만 3차원 정보를 제대로 쓰지 못한다. 축을 따라 점의 분포를 세는 수작업 기술자는 표현력이 제한된다. 마지막으로 점군 위에서 직접 동작하는 딥러닝 모델이 있는데, 이 계열은 입력 순서가 바뀌어도 같은 결과를 내야 한다는 제약을 만족해야 한다.

직접 처리 계열의 계보가 차례로 소개된다. 초기 모델은 모든 점을 공유 다층 퍼셉트론에 통과시킨 뒤 차원마다 최댓값만 골라 전역 벡터를 만드는 식으로 순서 불변을 확보했지만, 지역적인 상호작용이 마지막 풀링 한 번뿐이라는 약점이 있었다. 후속 모델은 가장 멀리 떨어진 점부터 고르는 방식으로 기준점을 잡고 그 주변을 묶어 계층적으로 집계해 지역 표현을 쌓아 올린다. 실습에 쓰인 세 번째 모델은 각 점의 최근접 이웃들을 모아 중심점과 이웃 쌍을 신경망에 넣고 엣지 특징을 만든 뒤 최대 풀링을 적용하는데, 논문 기준으로 앞의 두 모델보다 성능이 좋고 속도도 훨씬 빨랐다고 한다.

전체 구조는 두 개의 변형을 만들어 인코더에 통과시키고, 그 표현을 더 작은 차원으로 압축하는 투영 헤드를 거쳐 손실을 계산하는 형태다. 투영 헤드가 필요한 이유는 대조 손실에 쓰이는 유사도 척도가 고차원에서 성능이 떨어지기 때문이며, 추론 시에는 이 헤드를 떼어 내고 원래 표현을 쓴다. 학습에서는 배치 크기가 중요한 변수로 언급된다. 배치가 클수록 한 배치 안에서 비교할 음성 표본이 늘어나 임베딩 공간이 더 촘촘해지지만, 실습 환경의 메모리 제약 때문에 32까지만 쓸 수 있었다고 밝힌다. 그럼에도 세 번의 학습 주기만으로 임베딩을 2차원으로 줄여 그려 보면 같은 종류끼리 군집이 형성되고, 특정 샘플과 가장 가까운 샘플을 실제로 그려 보면 테이블에는 테이블이, 오토바이에는 오토바이가 걸린다.

주요 인사이트

• 증강 설계가 곧 학습 목표 설계라는 점이 이 강의에서 가장 실용적인 교훈이다. 모델이 구분할 수 없는 증강을 만들거나, 반대로 엉뚱한 단서만 학습하게 만드는 증강을 고르면 표현 품질이 무너진다.
• 점군 데이터에는 정립된 증강 관행이 없어 발표자가 직접 단순한 조합을 설계했다고 밝히는데, 이는 새로운 데이터 유형에 자기지도 학습을 적용할 때 흔히 마주치는 상황이다.
• 회전 증강을 배제한 판단은 모델 구조와 증강을 따로 볼 수 없다는 사실을 보여 준다. 층이 이미 회전 불변이면 그 증강은 학습 신호를 만들지 못한다.
• 배치 크기가 성능을 좌우한다는 점은 대조 학습이 왜 대규모 자원과 함께 발전했는지를 설명해 준다. 배치 1024면 음성 표본이 1022개 확보되는 구조다.
• 투영 헤드는 학습용 보조 장치일 뿐 최종 산출물이 아니며, 다운스트림 과제에는 그 앞단의 표현을 쓴다는 구분을 기억해 둘 만하다.

자주 묻는 질문

관련 AI 소식