왜 우리의 모델은 각 클래스에 대한 분류 확률을 제공할 수 없었는가?(힌트는 SVM에 있습니다…)
- SGD 모델에서는 결정 함수를 사용 → 값을 반환할 때 선형 함수의 출력값을 제공
- 최적화된 결정 경계가 어딘지 판단하는 데 초점
- 분류를 할 때 모델 함수식에서 확률 판단 불가
→ 최소영: 흔히 사용하는 분류 모델들은 모델 수식을 바탕으로 어떤 클래스에 속하는지 초점을 맞추기 때문에 분류 확률을 구하기 보다는 가장 좋은 분류 결과를 내고 싶어한다.
→ 지선 : 모델에 따라 확률을 직접적으로 다루지 않거나 확률에 관한 함수나 결과 값을 제공하지 않는 모델의 경우에는 분류 확률을 제공할 수 없다.
→정상윤 - SVM은 분류 작업에서 각 클래스에 대한 결정 경계를 제공한다. 하지만 SVM은 어떤 결정 경계가 가장 최적의 결정 경계일지를 판단하는 것에 초점을 맞추고 있고, 데이터포인트가 어떤 클래스에 속하는지 이진적인 결정을 내리는 것을 목적으로 하고 있다. 그렇기 때문에 확률 분포에 대한 별다른 설계가 되어있지 않아서 분류확률을 제공할 수 없는 것이다.
→ 조민우: 수학적인 접근으로 애당초에 확률을 구하는 함수의 정보가 담겨있지 않고, f(x)를 0으로 기준으로 분류하는 수식이 담겨있기 때문이다.
→ 안성재 : 우리가 이진 분류에서 사용한 loss function이 SVM의 hinge와 같은 것으로 모델은 threshold를 통해 0/1 중 하나의 값만 제공할 수 있다.
분류 확률을 제공받고 싶다면 우리는 어떤 모델을 사용해야하는가. 그 모델은 어떻게 분류 확률을 제공하는가?
- Random Forest
- SVM의 값을 사용해서 Logistic Regression을 훈련(Platt Scaling) → 시그모이드 함수
- SVM이 본질적으로 확률을 제공하지 않기 때문에 마진 값을 이용하여 확률을 구함
- Naive bayes classifier : 데이터의 특징을 가지고 각 클래스에 속할 확률을 계산하는 조건부 확률 기반의 분류 방법
- 쉽게 풀어쓴 cs231n 2강 svm, softmax loss function(3) — 리미에오 기록저장소
- Softmax
→ 도지선 : 분류 확률을 제공하는 모델로는 naive bayes 모델이 있다. 이 모델의 경우 데이터의 특징을 가지고 각 클래스에 속할 확률을 계산하는 조건부 확률 기반의 분류 방법이다.
→ 최소영: Random Forest, Decision Tree, Logistic Regression
→ 조민우: SVM에서 확장하는 관점으로 바라보려면, 결정 경계를 기준으로 데이터에 대한 거리를 파악하고, 후처리 기법을 통해서 거리에 관한 데이터를 활용하는 것도 하나의 방법이 될 것이다.
→ 정상윤 : SVM만으로는 한계가 보이기 때문에 확률적 출력 기능이 포함된 모델을 사용해야 한다. 대표적인 예로 Softmax 함수가 있다.
→ 안성재 : Random Forest는 결정 트리들을 훈련시키고 트리들을 종합해 분류 확률을 제공한다.