1️⃣어떤 경우에 릿지 회귀가 유리하며 어떤 경우에 라쏘 회귀가 유리한가?

Ridge : 모든 특성의 가중치를 0으로 만들지 않기 때문에 모든 변수들이 중요한 정보를 가지고 있는 경우 유리하다. 모든 변수를 사용하면서 규제를 통해 모델 복잡도를 줄이기 때문에 변수의 개수가 많을 경우에도 유리하다. 또한, 상관관계가 유리한 경우에도 라쏘 회귀보다 릿지 회귀가 유리하다.

릿지 회귀의 비용함수

가중치를 0에 가깝게 만들지만 0으로는 만들지 않아서 상관관계를 유지할 수 있기 때문에 상관관계가 존재하는 경우에 유리하다. (라쏘 회귀는 일부 가중치를 0으로 만듦)

Lasso : 가중치로써 L1 norm을 사용하기 때문에 가중치가 0이 되는 feature가 존재한다. 그래서 전체가 아닌 특정 몇몇 feature만 사용하고 싶은 경우 혹은 feature의 개수가 너무 많은 경우 Lasso회귀를 사용하면 좋다. Lasso가 Ridge보다 간소화된 feature를 사용하기 때문에 해석 가능한 모델을 원할 때 사용하기도 한다.

2️⃣ 데이터의 크기와 차원이 커질 경우 둘의 성능과 효율성은 어떻게 변화할까?

1. 릿지 회귀의 성능과 효율성

• 성능
  • L2 정규화는 모든 계수를 균등하게 축소하지만 0으로 만들지 않습니다. 변수 간의 상관관계가 높은 경우 안정적이지만, 고차원에서는 모든 변수를 유지하므로 과적합 위험이 증가할 수 있습니다.
• 효율성
  • 릿지 회귀는 해석이 간단하고 계산적으로 효율적입니다. 하지만 데이터의 크기가 커지면 계산 시간이 늘어날 수 있습니다.

1. 라쏘 회귀의 성능과 효율성

• 성능

  • L1 정규화는 불필요한 피처의 계수를 0으로 축소하여 모델을 생성합니다. 실제로 관련성이 낮은 변수가 많을 경우 예측 성능이 우수합니다. 하지만 차원이 너무 커지면, 과도하게 많은 계수가 0으로 설정될 수 있으며, 중요한 변수까지 제외되는 리스크도 존재합니다.

• 차원축소(PCA 변환)와 라쏘의 차이

  • 모델 자체의 해석이 중요하다! → Lasso 회귀
  • 차원이 심하게 높고 특성 간 상관 관계가 높다! → PCA 변환
  • PCA 변환을 하여 8개의 특성 → 3개의 특성을 축소 시켰다고 가정하면 PC1, PC2, PC3 로 축소되는데, 이 과정에서 개별 특성에 대한 정보가 소실된다. 따라서 각 특성이 예측에 어떤 영향을 미치는 지 정확히 해석하기 어렵다. 따라서 모델 해석 자체가 중요한 경우에는 라쏘를 사용하는 것이 적합하다. 반대로 데이터의 차원이 너무 높아 복잡도를 줄여 계산 속도 향상이 주 목적이라면 PCA를 사용하는 것이 적합하다.

• 효율성

  • 라쏘 회귀는 변수 선택을 하는 과정에서 계산이 복잡해질 수 있습니다. 수렴 속도가 느려질 수 있으며, 데이터가 많아지면 계산이 비효율적일 수 있습니다.

1. 정리

   

3️⃣ 엘라스틱넷은 둘의 어떠한 장점과 특징을 각각 가져가는가?

릿지와 라쏘를 결합한 엘라스틱넷의 경우, 릿지를 이용해 일부 중요도가 낮은 변수도 완전히 배제하지 않고 활용해 다중공선성을 해결하고 안정적으로 학습할 수 있다. 이외에도 릿지는 노이즈에 덜 민감하므로 다양한 크기의 데이터를 다룰 수 있다.

또한, 엘라스틱넷은 라쏘 회귀를 이용해 일부 불필요한 변수를 0으로 설정하고 차원의 저주를 극복할 수 있다.

결과적으로 라쏘를 이용해 불필요한 변수를 제거할 수 있고, 릿지를 이용해 상관관계가 높은 변수들의 중요도를 적절히 나눠 다중공선성을 해결할 수 있으므로 더 안정적인 회귀 계수를 도출할 수 있다.