컴퓨터 비전 등변성과 모델 면역화: 정확도 너머를 겨냥한 두 갈래 연구 (TTIC 콜로퀴엄 정리)

핵심 메시지

• 지금의 컴퓨터 비전 성능은 대규모 데이터와 GPU 확장이 이끌었지만, 기하 변환에 대한 예측 가능성 같은 성질은 규모를 키운다고 따라오지 않는다.
• 연구진은 등변성 오차에 상한을 두는 방식으로 문제를 풀었다. 가중치를 저역 통과 필터로 걸러 대역을 제한하면 컷오프 값 하나로 오차 상한이 결정된다.
• 이 설계는 신경망의 다운샘플링에 안티에일리어싱이 왜 도움이 되는지를 경험칙이 아닌 부등식으로 설명해 준다.
• 두 번째 주제인 모델 면역화는 공개 가중치가 유해한 용도로 다시 미세조정되는 상황을 모델 배포자가 미리 막자는 발상이다.
• 면역화를 '조건수를 나쁘게 만드는 최적화 문제'로 재정의하자, 왜 학습이 느려지는지가 수렴 속도 이론으로 설명됐다.

쉽게 이해하기

발표자는 최근 몇 년간 컴퓨터 비전이 얼마나 좋아졌는지부터 짚는다. 텍스트 질의만으로 물체를 분할해 내는 인식 모델, 사실상 해결됐다고 볼 만한 저수준 이미지 생성, 그리고 이들을 하나의 시각-언어 모델로 묶어 자연어로 조작하는 흐름까지 왔다는 것이다. 이 진전을 이끈 동력은 결국 대량의 양질 데이터와 대량의 GPU였다. 그래서 발표자는 규모를 키워서는 도달할 수 없는 두 방향, 곧 기하 변환에 대한 견고함과 공개 모델의 악용 위험 완화를 연구 주제로 잡았다고 말한다.

첫 번째 연구의 출발점은 발표자가 2016년 박사 자격시험에서 받은 질문이었다. 신호처리 전공 심사위원들이 왜 신경망의 다운샘플링에서는 안티에일리어싱을 하지 않느냐고 물은 것이다. 당시에는 경험적으로 맥스 풀링이 더 낫더라는 답으로 넘어갔지만, 2019년에 다운샘플링 전에 블러를 넣으면 이동에 더 안정적이라는 결과가 나오면서 질문이 되살아났다. 재구성에 관한 이야기인 안티에일리어싱이 왜 안정성에 관한 이야기인 이동 불변성과 연결되는가가 남은 것이다.

연구진은 등변성을 등식이 아니라 부등식으로 완화했다. 입력을 변환한 뒤 통과시킨 결과와 통과시킨 뒤 변환한 결과의 차이를 입력 크기와 국소 스케일로 정규화해, 이 값이 상수 이하가 되도록 설계한 것이다. 1차원 신호와 순환 이동이라는 가장 단순한 경우를 특이값 분해로 풀면, 가중치의 푸리에 계수를 특정 컷오프 위에서 0으로 만들 때 오차 상한이 그 컷오프 값에 비례한다는 결론이 나온다. 즉 가중치에 저역 통과 필터를 씌우는 일이 곧 등변성 오차를 제어하는 일이다.

실용적인 장점은 사전학습 모델을 그대로 쓸 수 있다는 데 있다. 특수 구조를 처음부터 학습시키는 대신 기존 모델의 가중치를 사영한 뒤 지도 미세조정만 하면 된다. 이미지넷 분류와 파스칼 VOC 분할 실험에서 정확도는 기존 방식과 비슷하거나 조금 나았고, 회전을 준 조건의 정확도와 등변성 오차 지표에서 더 나은 결과가 나왔다. 다만 층을 쌓을수록 상한이 누적되어 느슨해지므로, 발표자 본인도 이론이 영감을 준 설계이고 검증은 실험으로 했다고 선을 긋는다.

후반부의 모델 면역화는 문제 설정 자체가 다르다. 공개 가중치 생성 모델에서 특정 개념을 지워 배포해도 받는 쪽이 소량의 데이터로 다시 미세조정하면 지운 개념이 되살아나는데, 기존 방어가 창작자에게 데이터 포이즈닝을 요구했다면 이 연구는 배포자가 모델 자체를 손보는 쪽을 택한다. 처음에는 이중 수준 최적화로 접근했지만, 이후 학습을 어렵게 만든다는 목표를 조건수 문제로 바꿔 읽었다. 유해 과제 쪽 헤시안의 조건수는 키우고 원래 과제 쪽은 잘 조건화된 상태로 두면서 성능도 지키는 세 항짜리 목적함수를 세운 것이다. 주택 가격 회귀와 MNIST, ResNet·ViT 사전학습 모델 실험에서 원래 과제 성능은 유지한 채 면역화 지표가 개선됐다.

주요 인사이트

• '정확도가 오르면 좋은 모델'이라는 관성에서 벗어나면, 규모 확장으로는 얻을 수 없는 성질이 무엇인지가 연구 주제가 된다. 이 발표에서는 그것이 변환에 대한 예측 가능성과 배포 후 안전성이었다.
• 오랫동안 경험칙으로만 통용되던 설계(다운샘플링 전 블러)가 부등식으로 설명된 사례다. 실무에서 '해보니 되더라'로 남아 있는 관행에도 비슷한 형식적 근거가 숨어 있을 수 있다.
• 등변성 연구가 컴퓨터 비전에서 덜 쓰이는 이유는 실제 데이터가 엄밀한 대칭을 만족하지 않기 때문이다. 등식 대신 상한을 둔 '소프트' 완화는 이 간극을 겨냥한 절충이다.
• 면역화는 만능이 아니다. 유해 과제와 정상 과제가 표현 공간에서 충분히 다른 방향을 가리켜야 분리가 가능하고, 그렇지 않으면 보장이 없다는 점을 발표자도 질의응답에서 인정했다.
• 면역화의 정의가 '그 개념을 못 만들게 한다'가 아니라 '그 방향으로 수렴하기 어렵게 한다'라는 점은 중요하다. 시간을 충분히 쓰면 결국 학습되므로, 절대 방어가 아니라 비용을 올리는 장치로 이해해야 한다.

자주 묻는 질문

관련 AI 소식