L3 정규화란 무엇인가 — 라쏘·릿지 너머의 제약 모양과 계수 크기를 맞추는 규제

핵심 메시지

• L1은 마름모, L2는 원 모양의 제약 영역을 만든다. 해의 성질은 이 도형의 모양에서 결정된다.
• 라쏘가 희소한 해를 주는 이유는 마름모의 뾰족한 꼭짓점에 목적함수의 등고선이 자주 닿기 때문이고, 그 꼭짓점은 일부 계수가 정확히 0인 지점이다.
• 차수를 3, 4, 10으로 올리면 제약 영역은 점점 정사각형에 가까워지고, 그 꼭짓점은 계수들의 크기가 서로 같은 지점을 뜻한다.
• 따라서 L3 이상의 정규화는 추정한 계수들의 크기를 서로 비슷하게 만들고 싶을 때 어울린다.
• 그런 요구가 실제로 필요한 상황이 드물다는 점이 L3가 교과서와 라이브러리에 거의 등장하지 않는 이유로 제시된다.

쉽게 이해하기

정규화를 배울 때 우리는 보통 두 가지를 익힌다. 계수의 절댓값 합을 제한해 일부 계수를 0으로 만드는 L1(라쏘)과, 제곱합을 제한해 계수를 고르게 줄이는 L2(릿지)다. 둘 사이를 섞은 엘라스틱넷까지가 익숙한 지도다. 이 영상은 여기서 한 걸음 옆이 아니라 바깥으로 나가, L3 정규화는 왜 아무도 이야기하지 않는지를 묻는다.

정의 자체는 어렵지 않다. 수식에서 1이나 2가 들어가던 자리에 3을 넣으면 된다. 흥미로운 것은 이때 만들어지는 제약 영역의 모양이다. L1의 마름모와 L2의 원 사이에서 엘라스틱넷이 절충을 만들었다면, L3는 원도 사각형도 아닌 모서리가 둥근 사각형이 된다. 차수를 4, 5, 10으로 계속 올리면 이 도형은 점점 정사각형에 가까워진다.

이 기하학적 관찰이 핵심이다. 라쏘에서 희소성이 나오는 이유는 마름모의 뾰족한 꼭짓점 때문이다. 목적함수의 등고선은 매끄러운 변보다 뾰족한 모서리에 먼저 닿는 경우가 많고, 그 꼭짓점은 수학적으로 일부 계수가 정확히 0이 되는 자리다. 같은 논리를 정사각형에 적용하면 답이 나온다. 정사각형에도 네 개의 꼭짓점이 있고 등고선은 거기에 먼저 닿지만, 그 지점의 의미가 다르다.

정사각형의 꼭짓점은 계수들의 크기가 서로 같은 지점이다. 오른쪽 위 꼭짓점은 두 계수가 같은 양수인 자리이고, 왼쪽 위 꼭짓점은 부호는 다르지만 크기가 같은 자리다. 즉 차수가 높은 정규화는 '계수들의 크기를 비슷하게 맞춰라'라는 요구를 해에 심는 규제다. L3는 정사각형만큼 극단적이지는 않지만 그런 경향을 갖기 시작한다.

그렇다면 언제 쓸까. 영상은 현실을 설명하는 모형이 아니라 목적을 갖고 설계하는 함수일 때를 든다. 대학이 1학년부터 4학년까지의 성적을 선형으로 결합해 학생의 역량 지표를 만든다고 하자. 공정성 때문에 특정 학년의 성적에 유독 큰 가중치가 실리는 것을 원하지 않는다면, 계수들이 비슷한 크기에 머물도록 유도하는 이 규제가 어울린다. 다만 그런 사례가 드물다는 것이 화자의 솔직한 결론이고, 그래서 L3가 각광받지 못한다고 본다.

주요 인사이트

• 정규화의 성질은 벌점 수식보다 제약 영역의 도형에서 읽는 편이 빠르다. 뾰족한 모서리가 어디에 있느냐가 어떤 해가 선택될지를 결정한다.
• 차수를 무한대로 보내면 제약 영역이 정사각형에 수렴한다는 사실은, 높은 차수의 규제가 '모든 계수의 크기를 같게'라는 극단으로 향한다는 뜻이다.
• 희소성과 균등성은 같은 기하학적 원리에서 나온 서로 다른 결과다. 둘 다 꼭짓점에서 해가 잡히지만 그 꼭짓점이 의미하는 조건이 다르다.
• 쓰이지 않는 기법을 살펴보는 일에도 값이 있다. 왜 쓰이지 않는지 따져보는 과정에서 이미 쓰고 있는 기법이 왜 작동하는지가 선명해진다.
• 화자 스스로 이 활용 사례가 충분히 다듬어지지 않았다고 인정하며 시청자에게 다른 쓰임새를 묻는다. 정답을 제시하기보다 질문을 여는 방식의 해설이다.

자주 묻는 질문

관련 AI 소식