CNN ResNet 기초 강의 정리: 합성곱의 지역성과 잔차 연결이 딥러닝을 바꾼 이유

핵심 메시지

• 이미지 인식용 구형 모델을 다루지만, 여기서 익히는 기법 대부분이 이후 대형 언어 모델 학습으로 그대로 이어진다.
• 학습 루프는 데이터를 GPU로 옮기고, 예측하고, 손실을 재고, 역전파로 기울기를 구하고, 최적화기가 값을 조정한 뒤 기울기를 초기화하는 여섯 단계로 요약된다.
• 합성곱은 가중치가 훨씬 적은 다층 퍼셉트론의 특수한 경우인데도, 지역성이라는 제약 덕분에 더 빨리 학습하고 더 잘 일반화한다.
• 층을 깊게 쌓으면 기울기가 사라지거나 폭주해 학습이 무너지는데, 잔차 연결이 이 문제를 우회하는 통로를 만들어 준다.
• 초기 해석 가능성 연구가 이미지 모델에서 시작된 이유는, 깊은 층에서 사람이 알아볼 수 있는 개념 단위 뉴런이 반복해서 발견됐기 때문이다.

쉽게 이해하기

AI 안전 교육 프로그램 ARENA의 입문 주차 강의는 합성곱 신경망과 잔차 신경망을 다룬다. 강사는 이 주제가 이미지 인식 시대의 다소 오래된 기술이라는 점을 인정하면서도, 여기서 배우는 기법이 다음 주에 다룰 대형 언어 모델로 대부분 이어진다고 설명한다. 강의는 신경망을 행렬 곱과 비선형 함수를 번갈아 쌓은 구조로 정의하는 데서 출발한다. 목적 함수를 정해 두면 최적화기가 손실이 줄어드는 방향으로 값을 움직이고, 신경망이 무엇을 배웠는지는 학습이 끝난 뒤에야 사후적으로 알게 된다는 점이 강조된다.

이어 파이토치에서 모델을 구성하는 방식이 설명된다. 각 블록은 학습 대상 파라미터를 정의하는 초기화 부분과 실제 계산을 수행하는 순전파 부분으로 나뉜다. 파라미터를 전용 방식으로 등록해 두면 최적화기가 건드려도 되는 값과 건드리면 안 되는 값을 자동으로 구분한다. 학습률이나 배치 크기, 행렬의 크기처럼 미리 정해 두는 값은 최적화 대상이 아니라 하이퍼파라미터로 남는다.

학습 루프 설명에서는 실무적인 조언이 여럿 나온다. 신경망이 작고 이미지가 크면 CPU와 GPU 사이에서 데이터를 옮기는 일 자체가 병목이 될 수 있으므로 왕복을 최소화해야 한다. 배치는 GPU가 포화될 때까지 키우는 편이 좋은데, 그 지점 전까지는 배치를 키워도 속도가 나빠지지 않기 때문이다. 손실은 반드시 하나의 숫자여야 하며, 속도와 안전과 연비를 동시에 챙기는 식의 다목적 문제는 이 틀에서 그대로 다룰 수 없다. 또한 파이토치는 기울기를 계속 누적하므로 한 번 갱신할 때마다 초기화해야 하고, 이 성질을 역이용하면 메모리가 부족할 때 작은 배치를 여러 번 흘려 큰 배치를 흉내 낼 수 있다.

합성곱을 도입하는 이유는 이미지의 지역성 때문이다. 이미지를 일렬로 펼쳐 다층 퍼셉트론에 넣으면 그림을 살짝만 옮겨도 완전히 다른 입력이 되어 버린다. 개 사진을 조금 움직여도 여전히 개 사진이라는 사실을 모델 구조 자체에 심어 넣는 장치가 합성곱이다. 강사는 합성곱이 사실 다층 퍼셉트론에서 연결 대부분을 잘라낸 특수한 경우이며 표현할 수 있는 함수의 범위도 더 좁지만, 실제로 학습시켜 보면 다층 퍼셉트론은 훈련 데이터를 외우기만 하고 시험 성능은 형편없어진다고 설명한다. 제약이 오히려 일반화를 돕는 셈이다.

마지막 주제는 잔차 연결이다. 층을 아주 깊게 쌓으면 층마다 기울기가 조금씩 커지거나 작아지는 효과가 누적되어, 결국 기울기가 폭주하거나 0으로 사라져 학습이 멈춘다. 각 층의 출력에 입력을 그대로 더해 주면 기본 동작이 항등 함수가 되고, 역전파 시에도 층을 우회하는 경로가 생겨 학습이 훨씬 안정된다. 강사는 층마다 통과와 우회 두 갈래가 생기므로 n개 층이면 2의 n승 가지 경로를 섞은 앙상블로 볼 수 있다는 해석도 소개하되, 실제 계산은 순전파 한 번뿐이며 자신도 이 해석을 얼마나 믿는지는 모르겠다고 덧붙인다.

주요 인사이트

• 강사는 기울기 폭주를 잔차 연결이 어떻게 막아 주느냐는 질문에 모르겠다고 답한 뒤 추측을 덧붙였고, 수강생이 다른 설명을 제안하자 그게 더 낫다고 인정했다. 정설처럼 굳어진 설명 안에도 아직 불확실한 부분이 남아 있음을 보여주는 장면이다.
• 잔차 연결의 진짜 이점은 항등 함수에서 학습을 시작한다는 데 있다. 기울기 폭주를 피하려고 가중치를 아주 작게 초기화하면 학습이 거의 진행되지 않지만, 잔차 연결은 안정성과 학습 가능성을 동시에 확보한다.
• 모델이 표현할 수 있는 함수의 범위가 넓다는 것이 곧 성능을 뜻하지 않는다. 합성곱과 다층 퍼셉트론의 비교는 적절한 귀납적 편향이 표현력보다 중요할 수 있다는 사례다.
• 이미지 모델에서 반복해 발견된 개념 단위 뉴런은 해석 가능성 연구의 출발점이 되었고, 강의는 이 흐름이 이후 대형 언어 모델 연구로 이어졌다고 짚는다.
• 기울기 누적이라는 성질은 흔히 버그처럼 취급되지만, 메모리가 부족한 환경에서 큰 배치 학습을 흉내 내는 수단이 되기도 한다. 프레임워크의 기본 동작을 이해하면 제약을 도구로 바꿀 수 있다.

자주 묻는 질문

관련 AI 소식