트리 계열 모델(랜덤 포레스트, XGBoost, LightGBM, CatBoost 등)의 경우 예측 결과를 설명 가능하다는 장점이 있습니다. 특히, Feature Importance(특성 중요도) 분석은 트리 계열 모델(Random Forest, XGBoost, LightGBM, CatBoost 등)에서 특히 많이 사용되는 기법입니다. 따라서, 이번 주차에는 트리계열의 예측 모델을 만들어보고 만든 모델을 설명할 수 있게 하는 방법론들에 대해 알아보고자 합니다.

📌 트리 계열 모델에서 Feature Importance가 중요한 이유

✅ 트리 모델은 Decision Path(결정 경로)를 통해 예측을 수행하므로, 각 변수(feature)가 모델 예측에 얼마나 기여하는지를 정량적으로 평가할 수 있음.

✅ Decision Tree의 구조상, 어떤 변수가 주요한 기준으로 사용되는지(즉, 상위에서 분할에 많이 사용되는 변수인지)를 알 수 있음.

✅ 트리 모델은 Non-Linear(비선형) 관계를 학습할 수 있기 때문에, Feature Importance가 높은 변수가 반드시 선형적인 영향을 주는 것은 아님.

✅ 트리 모델에서는 Feature Importance가 모델의 내부 작동 방식과 밀접하게 연관되므로, 모델 해석을 위해 가장 자주 사용됨.

📌 딥다이브 1: 트리 모델에서 사용되는 각각의 Feature Importance 기법들의 특징과 장단점은 무엇인지 고민해보세요!

• ex) Split Gain Importance, Permutation Feature Importance…

😚 Feature Importance의 경우, 모델 학습 후, 예측 결과를 해석할 때에도 사용되며, 모델 튜닝 과정에서 Feature Engineering을 보완할 때에도 사용되고, 모델 학습 전에 Feature Selection(특성 선택) 과정에서도 사용되는 중요한 기능입니다. 알아두면 모델링 및 학습 data 전처리를 할 때 도움이 될 거에요!