Confusion Matrix
Confusion Matrix
클래스 분류의 결과를 정리한 표
분류 모델이 정확한지 평가할 때 활용
머신러닝이나 통계적인 classification 문제에서 알고리즘의 성능을 visualization하는 table layout.
트레이닝 된 머신의 예상값과 실제 값을 비교하는 표
불균형한 Data set
ex) 14세 이하 10만명당 암 발병인원 14.8명. (암 발병 확률 : 0.014%)
—> 굳이 머신러닝을 이용하지 않아도 확률이 너무 낮아서 '무조건 암이 아니다' 라고 해도
정확도(Accuracy)가 99~100%이 나옴. —> 좋은 모델 X --> Confusion matrix 사용
Positive & Negative
- 이항분류를 할 때 두가지 분류 중 한가지 분류에 더 관심이 많음
- ex) 화재 경보기 —> 화재 vs 일상 중 화재에 더 관심이 많음
- 이 때 관심이 더 많은 쪽을 Positive, 그 반대를 Negative 라고 함
TP, TN, FP, FN
Actual condition : 실제 값, Predicted condition : 예상 값
True Positive (진양성) : 예측과 실제 모두 P
True Negative (진음성) : 예측과 실제 모두 N
False Positive (위양성) : 실제로는 N인데 P로 예측된 것
False Negative (위음성) : 실제로는 P인데 N으로 예측된 것
앞의 T & F : 예측이 맞았는지 틀렸는지
뒤의 P & N : 예측을 Positive로 했는지, Negative로 했는지
이 4가지 경우를 조합하여 여러가지 지표를 만들수 있음
Error, Accuracy
- Accuracy (정확도) : 전체 중에서 올바르게 예측한 것이 몇개인가? (1에 가까울 수록 좋음)
- TP와 TN을 더하여, 전부의 합계로 나눔
True Positive Rate, False Positive Rate
True Positive Rate (진양성률) : 실제로 양성인 샘플에서, 양성이라고 판정된 샘플의 비율
- 검출률(Recall), 감도(Sensitivity), 히트률(Hit Rate), 재현률 등이라고도 함.
- 의미 : 전체 내가 맞추려는 것 중에서 내가 몇개를 맞췄는가? (1에 가까울 수록 좋음)
False Positive Rate (위양성률) : 실제에는 음성인 샘플에서, 양성으로 판정된 샘플의 비율
- FP/(FP + TN)
- 오검출률, 오경보률 이라고도 함
True Negative Rate (=Specificity)
- True Negative Rate (진음성률) : 실제로 음성인 샘플에서, 음성인 것으로 판정된 샘플의 비율
- 특이도 (Specificity) 라고도 함
Precision
- Precision (정밀도) : 양성으로 예측한 경우 중 진양성인 경우. 양성예측이 얼마나 정확한가
정밀도에 대한 판단은 양성의 경우를 계산하는 것이 더 좋은 방법
양성예측의 경우, 예측 후 어떠한 행동이 뒤따르는 경우가 많음
ex) 암 치료나 화재 대피 등.. 이 정밀도가 낮으면 불필요한 행동들을 해야할 수도 있음
음성 예측의 경우, 확인이 어려움
ex) 면접에서 안 뽑은 사람이 실력자인지 아닌지는 같이 일해보지 않으면 모름
Positive Predictive Value (PPV) 라고도 함
의미 : 푼 문제 중에 맞춘 정답 개수가 몇개인가? (1에 가까울 수록 좋음)
F1-score
- Precision과 Recall의 조화 평균을 이용하여 2개를 모두 고려해서 평가하는 방법
- 데이터 자체에 Positive 또는 Negative가 많을 경우에는 비율 자체가 편향되어 있기 때문에 조화평균을 이용
The Scoring matrics for multiclass classification
AUC
- ROC 곡선의 아래쪽 부분
- 빨&노&파 —> ROC 커브
- ROC의 밑부분 영역이 클수록 모델의 성능이 우수한 것
- 그림에서는 빨간 곡선이 가장 훌륭한 모델
- Reference Line : 0.5로 random 예측하는 것과 같음
- 즉, 0.5 아래의 것은 아무 쓸모가 없음
분류할 주제가 여러가지일 때에는?
- Classification Accuracy Curve 아래의 ROC area 계산
- 튜토리얼
- 1번보다 이게 낫다