드롭아웃 정규화 원리 완벽 정리: 뉴런을 무작위로 끄는 이유와 L2 정규화와의 관계 이해하기

핵심 메시지

• 드롭아웃은 학습 반복마다 뉴런 일부를 무작위로 꺼서, 매번 더 작은 신경망으로 학습하는 듯한 효과를 내는 정규화 기법이다.
• 어떤 입력이든 갑자기 사라질 수 있으므로 뉴런이 한 특성에만 의존하지 못하고 가중치를 여러 입력에 고르게 분산하게 된다.
• 가중치를 분산시키는 효과는 가중치 크기를 줄이는 것으로 이어져, L2 정규화와 비슷하게 과적합을 막는다.
• 층마다 유지 확률(keep_prob)을 다르게 줄 수 있어, 가중치가 많은 층에는 더 강한 드롭아웃을 적용한다.
• 드롭아웃은 어디까지나 과적합을 막기 위한 기법이므로, 과적합이 없다면 굳이 쓸 필요가 없다.

쉽게 이해하기

드롭아웃은 학습할 때마다 신경망의 뉴런 일부를 무작위로 꺼 버리는, 얼핏 보면 이상한 방법이다. 그런데도 정규화 기법으로 잘 작동하는 이유는 두 가지 직관으로 이해할 수 있다. 첫째, 매 반복마다 일부 뉴런이 사라지므로 사실상 매번 더 작은 신경망으로 학습하는 셈이 되고, 작은 신경망은 그 자체로 과적합을 줄이는 효과가 있다.

둘째 직관은 뉴런 하나의 입장에서 보는 것이다. 어떤 뉴런이 여러 입력을 받아 의미 있는 출력을 만들어야 하는데, 드롭아웃 때문에 그 입력 중 무엇이든 무작위로 사라질 수 있다. 그래서 이 뉴런은 특정 입력 하나에 큰 가중치를 몰아주기를 꺼리고, 여러 입력에 가중치를 조금씩 나눠 주게 된다. 이렇게 가중치를 분산시키면 가중치의 제곱 크기가 줄어들어, 결과적으로 L2 정규화와 비슷한 효과가 난다. 실제로 드롭아웃은 적응적인 형태의 L2 정규화로 볼 수 있다고 알려져 있다.

드롭아웃의 강도는 각 뉴런을 유지할 확률인 유지 확률(keep_prob)로 조절하며, 층마다 다르게 설정할 수 있다. 가중치 행렬이 큰 층, 즉 과적합이 걱정되는 층에는 유지 확률을 낮게(예: 0.5) 두어 드롭아웃을 강하게 걸고, 덜 걱정되는 층에는 0.7처럼 높게, 과적합 걱정이 없는 층에는 1.0을 주어 사실상 드롭아웃을 끈다. 입력층에도 적용할 수 있지만 입력 특성을 절반씩 없애는 일은 드물어 보통 1.0에 가깝게 둔다.

드롭아웃은 컴퓨터 비전에서 특히 자주 쓰인다. 이미지의 픽셀이 워낙 많아 데이터가 늘 부족하고 거의 항상 과적합이 일어나기 때문이다. 다만 이 직관이 모든 분야에 그대로 통하는 것은 아니어서, 과적합이 없는 문제에는 굳이 쓸 필요가 없다. 한 가지 단점은 학습할 때마다 노드를 무작위로 꺼서 비용 함수 J가 매 반복마다 명확히 정의되지 않는다는 점이다. 그래서 보통은 드롭아웃을 끈 채(유지 확률 1.0) 비용이 단조롭게 줄어드는지 확인한 뒤, 다시 드롭아웃을 켜서 학습한다.

주요 인사이트

• 드롭아웃의 본질은 뉴런이 특정 특성 하나에 과도하게 의존하지 못하게 만들어, 가중치를 여러 입력에 고르게 퍼뜨리는 데 있다.
• 가중치를 분산해 그 크기를 줄인다는 점에서 드롭아웃은 L2 정규화와 닮았지만, 입력의 규모에 따라 더 적응적으로 작동한다.
• 층마다 유지 확률을 달리할 수 있어 과적합이 심한 층만 골라 더 강하게 규제할 수 있지만, 그만큼 조정할 하이퍼파라미터가 늘어난다.
• 드롭아웃을 켜면 비용 함수가 매 반복마다 들쭉날쭉해지므로, 디버깅할 때는 먼저 드롭아웃을 끄고 비용이 제대로 줄어드는지 확인하는 것이 좋다.

자주 묻는 질문

관련 AI 소식