모든 변수를 유지하면서 안정적이 예측을 원한다면 ‘릿지 회귀’, 불필요한 변수를 제거하여 해석이 쉬운 모델을 원한다면 ‘라쏘 회귀’
특성의 개수가 많을 때, 라쏘 회귀를 사용하면 중요한 특성의 가중치를 제거할 가능성이 있기 때문에 릿지 회귀를 사용하는 것이 유리함.
특성간의 관계가 명확할 때, 몇가지 특성만 골라서 보고 싶을 때, 라쏘 회귀를 사용하는 것이 유리함.
변수들끼리 비슷한 정보, 상관관계를 갖고 있을 때 가중치를 조정하여 이런 공선성 문제를 완화할 수 있음.
라쏘 회귀의 경우, 특성의 가중치를 0으로 만들기 때문에 데이터 차원이 커지면서 특성들에 모델 학습을 덜하게 되어 과소적합을 만들어낼 가능성이 있음.
데이터 크기 = 샘플 개수(많은 경우 라쏘 회귀 유리), 데이터 차원 = 특성 개수(많은 경우 릿지 회귀 안정적)
데이터 크기가 크고 특성이 적은 경우, 릿지 회귀를 사용해서 모든 정보를 유지하면서 안정적인 모델을 만드는 것이 좋고
데이터 크기가 작고 특성이 많은 경우, 라쏘 회귀를 사용해서 중요한 변수만 남기고 나머지는 제거하는 것이 효과적임.
릿지 회귀의 장점인 상호 연관성, 라쏘 회귀의 장점인 중요 특성 선택의 장점을 둘 다 가질 수 있다. 단, 하이퍼파라미터(l1_ratio)를 잘 정해야 한다.
엘라스틱넷에서 모든 특성을 사용한다는 릿지 회귀의 특징과 덜 중요한 특성을 삭제한다는 라쏘 회귀의 특징을 모두 사용하기 위해 덜 중요한 특성의 가중치를 제거하기 보다는 0에 가까운 가중치를 두어 엘라스틱넷이 돌아감.
불필요한 특성을 제거하지 못해서 희소한 모델을 만들 수 없다는 릿지 회귀의 단점과 다중공선성이 높은 경우 해석의 문제가 생길 수 있다는 라쏘 회귀의 단점 둘 모두를 극복할 수 있다.
l1_ratio를 조정하여 보다 유연하게 규제를 적용할 수 있다는 장점이있다.
릿지는 모든 특성을 유지하면서 과적합을 방지하는 효과가 있어서 전체 데이터를 활용하는데 유리한데, 변수 선택도 필요하다면 이 장점을 가져가면서 변수 선택도 할 수 있도록 릿지와 라쏘 함수의 장점을 합한 엘라스틱넷을 활용하는 것이 더 효과적임.