지표말고… 실질적인 해결 방안은 없나?

이진분류 혹은 다중분류(OvR)의 경우, 우리는 훈련데이터에 대한 불균형을 경험하게 될 것이다. 만약 개, 고양이, 토끼, 사자의 사진을 각각 25장씩 총 100장 가지고 있다면 우리의 이진분류기는 **“개냐 개가 아니냐”**라는 방식일 것이며 다중 분류기는 이러한 이진분류기가 4개 있는 상황일 것이다. 즉 정답 데이터의 비율이 1:3으로 비교적 적은 상태에 처하게 된다. 이러한 불균형 클래스 문제는 머신러닝 분류에서 매우 흔하게 접할 수 있는 이슈이며 F1 score, Precision-recall, ROC-AUC 와 같은 지표들은 해결하기 위한 방법이 아니라 평가할 때 좀 더 적합한 “척도”일 뿐이다. 그렇다면

데이터 불균형 문제를 직접적으로 해결할 수 있는 방법론들은 어떤것이 있는지?

https://naver.me/5z58QbnH

• https://naver.me/55rEMG39

1. 데이터 수준에서의 접근 방법

   데이터의 분포를 조정하여 불균형을 완화

   | Oversampling | 소수 클래스의 데이터를 복제하여 데이터의 크기를 늘린다.

   • 랜덤 과대 표집, SMOTE, ADASYN
   • 단점: 일반화 오류 😟 | | --- | --- | | Undersampling | 소수 클래스의 데이터를 적게 선택하여 데이터의 크기를 줄인다.
   • 랜덤 과소 표집, Tomek Links, CNN, OSS |

2. 알고리즘 수준에서의 접근 방법

• 불균형 데이터를 고려한 손실 함수
  • Focal Loss: 불균형 데이터에서 자주 등장하지 않는 클래스에 가중치를 부여.
  • Class-Balanced Loss: 클래스의 등장 빈도에 따라 손실 가중치를 동적으로 조정.

각각의 방법론들은 어떤 상황에서 적합하며 장단점은 무엇인지?

• Over-sampling

  장점 : 주어진 데이터를 다 활용할 수 있음.

  단점 : 과적합될 수 있음. 너무 많을 경우 처리속도 감소. 소요시간이 늘어난다.

• Under-sampling

  장점 : 데이터의 양을 줄여, 소요 시간을 줄일 수 있다.

  단점 : 데이터가 줄어들기 때문에 정보 손실이 발생할 수 있다, 학습에 사용되는 전체 데이터 수를 급격하게 감소시켜 오히려 성능이 떨어질 수 있다.

이번 Deep dive를 통해 탐구해보자!