엘라스틱 넷 규제 원리 정리: 라쏘와 릿지 회귀의 장단점, 제약 모양이 만드는 차이

핵심 메시지

• 라쏘와 릿지는 모두 회귀계수가 지나치게 커지지 않도록 제약을 거는 방식이지만, 제약의 모양이 달라 결과의 성격이 완전히 달라진다.
• 라쏘의 제약은 마름모 모양이라 뾰족한 꼭짓점에서 해가 잡히기 쉽고, 그 지점에서 일부 계수가 정확히 0이 되어 변수 선택 효과가 생긴다.
• 라쏘는 서로 매우 비슷한 변수가 있을 때 둘 중 하나를 임의로 0으로 만들어, 데이터가 조금만 달라져도 결론이 뒤집히는 불안정함을 보인다.
• 릿지는 원 모양 제약이라 계수를 0으로 만들지 않아 안정적이지만, 쓸모없는 변수까지 예산을 나눠 가져 유용한 변수의 계수를 과하게 줄인다.
• 엘라스틱 넷은 두 벌점을 비율로 섞어, 뾰족함이 남은 첨점 덕분에 희소성을 유지하면서도 상관 높은 변수는 균형 있게 나눠 갖는다.

쉽게 이해하기

회귀분석에서 규제란 계수가 제멋대로 커지는 것을 막는 장치다. 최소제곱법은 실제 값과 예측값 차이의 제곱합을 최소화하는데, 여기에 계수 크기의 상한을 함께 걸어두는 것이 라쏘와 릿지다. 상한값이 작을수록 규제가 강해지고, 무한대로 커지면 사실상 규제가 없는 상태가 된다.

라쏘는 계수 절댓값의 합을 제한한다. 계수가 둘뿐인 평면에서 이 조건을 그리면 각 축 위에 꼭짓점을 둔 마름모가 된다. 손실함수의 등고선이 바깥에서 좁혀 들어올 때 이 뾰족한 꼭짓점에 먼저 닿기 쉬운데, 꼭짓점에서는 계수 하나가 정확히 0이다. 덕분에 덜 중요한 변수의 계수가 0으로 밀려나 자동으로 변수 선택이 이뤄진다.

문제는 사실상 같은 정보를 담은 변수 두 개가 함께 있을 때 생긴다. 라쏘는 둘 중 하나만 살리고 나머지를 0으로 보내는 전부 아니면 전무 식 결정을 내리는데, 어느 쪽이 살아남을지는 예측하기 어렵다. 데이터를 조금만 바꿔 다시 돌리면 정반대 결과가 나올 수 있어, 어떤 변수가 중요한지에 대한 해석이 왜곡된다.

릿지는 계수 제곱의 합을 제한하므로 제약 영역이 원이 된다. 모서리가 없으니 해가 축 위에 정확히 놓이는 일은 사실상 없고, 계수는 작아질 뿐 0이 되지는 않는다. 상관 높은 변수들에는 비슷한 가중치를 나눠 주어 안정적이지만, 변수 선택은 해주지 못한다. 게다가 쓸모없는 변수도 제한된 예산의 일부를 차지하므로 정작 중요한 변수의 계수가 필요 이상으로 줄어드는 부작용이 있다.

엘라스틱 넷은 두 벌점을 혼합 비율로 섞는다. 비율이 1이면 라쏘, 0이면 릿지가 되므로 두 방법은 엘라스틱 넷의 특수한 경우인 셈이다. 그 사이 값에서는 제약 영역이 마름모와 원의 중간 모양이 되는데, 축 근처에는 완전히 매끄럽지도 완전히 뾰족하지도 않은 첨점이 남는다. 이 첨점 덕분에 희소성이 살아 있고, 축 사이로 불룩 튀어나온 부분 덕분에 상관 높은 변수들은 균형 있게 나눠 갖는다. 대가는 복잡성이며, 혼합 비율이라는 조정 대상이 하나 더 늘어난다.

주요 인사이트

• 제약 조건의 기하학적 모양이 결과의 성격을 결정한다는 점이 이 설명의 핵심이다. 뾰족한 모서리는 계수를 0으로 만들고, 매끄러운 곡선은 계수를 나눠 갖게 한다.
• 라쏘의 변수 선택 능력을 근거로 변수 중요도를 해석할 때는 주의가 필요하다. 상관이 높은 변수쌍에서는 선택 자체가 우연에 가깝기 때문이다.
• 릿지의 숨은 부작용은 잘 지적되지 않는다. 계수를 0으로 만들지 않는 성질 때문에 쓸모없는 변수도 규제 예산을 차지하고, 그만큼 중요한 변수가 손해를 본다.
• 엘라스틱 넷은 새로운 알고리즘이라기보다 두 규제를 잇는 연속적인 스펙트럼에 가깝다. 라쏘와 릿지는 양 끝단의 특수한 경우일 뿐이다.
• 유연성에는 비용이 따른다. 혼합 비율까지 조정해야 하므로 제약식의 해석과 계산 부담이 늘어난다는 점을 강연자도 분명히 인정한다.

자주 묻는 질문

관련 AI 소식