혼동 행렬

혼동 행렬(confusion matrix)는 예측값과 실제값을 비교해놓은 표입니다. 이탈 고객을 예측할 때, 고객의 상태는 이탈과 유지 2가지입니다. 우리가 할 수 있는 예측도 2가지죠. 그럼 $2 \times 2 = 4$가지 조합이 나옵니다. 혼동 행렬은 이것을 표로 만든 것입니다.

from sklearn.metrics import *
confusion_matrix(y_test, y_pred)

table(y_test, pred)

이렇게 두 가지로 예측이 되는 경우에 한 쪽을 양성(positive), 다른 쪽을 음성(negative)라고 하는데요 이것은 좋다, 나쁘다는 뜻이 아니고 우리가 찾으려고 하는 것이냐, 아니냐로 보통 부릅니다. 즉, 양성은 우리가 찾으려고 하는 것, 음성은 그렇지 않은 것을 말합니다. 예를 들어 암 검진의 경우에는 암이 양성이고, 건강한 상태가 음성입니다. 고객에 대해서도 이탈 고객을 찾으려는 상황이라면 이탈이 양성, 유지가 음성이 됩니다.

그러면 4가지 조합을 다음과 같이 부릅니다.

• 진양성(True Positive, TP): 양성이라고 예측을 했는데 실제로 양성인 경우
• 진음성(True Negative, TN): 음성이라고 예측을 했는데 실제로 음성인 경우
• 위양성(False Positive, FP): 양성이라고 예측했는데 실제로는 음성인 경우
• 위음성(False Negative, FN): 음성이라고 예측했는데 실제로는 양성인 경우

정확도

정확도(accuracy)는 전체 중에서 예측이 맞은 비율을 말합니다.

$$ \frac{TP + TN}{TP + FP + TN + FN} $$

accuracy_score(y_test, y_pred)

정밀도

정밀도(precision)는 양성 예측 중에 진양성인 비율을 말합니다.

$$ \frac{TP}{TP + FP} $$

문턱을 높이면, 정밀도가 올라갑니다.

precision_score(y_test, y_pred)

재현도

재현도(recall)는 실제 양성 중에 진양성인 비율을 말합니다.

$$ \frac{TP}{TP + FN} $$

민감도(sensitivity)라고도 합니다.

문턱을 낮추면, 재현도가 올라갑니다.

recall_score(y_test, y_pred)

특이도

특이도(specificity)는 실제 음성 중에 진음성인 비율을 말합니다.

$$ \frac{TN}{TN + FP} $$

특이도는 재현도와 반대로 문턱을 낮추면 내려갑니다.

recall_score(y_test, y_pred, pos_label=0)

ROC 곡선

재현도와 특이도는 문턱값에 따라 서로 반대로 움직이는 특성을 가지고 있습니다. 따라서 문턱값을 바꿔가면서 재현도와 특이도가 어떻게 달라지는지 그린 것을 수신자 조작 특성 곡선(Reciever Operating Characteristic curve), 줄여서 ROC 곡선이라고 합니다.

가로축은 1-특이도, 세로축은 재현도를 나타냅니다.

ROC 곡선이 위로 볼록할 수록 같은 특이도에서 재현도가 더 높다는 것을 뜻합니다.

from sklearn.metrics import roc_auc_score, roc_curve
import matplotlib.pyplot as plt
fpr, tpr, threshold = roc_curve(y_test, prob)
plt.plot(fpr, tpr)

AUC

ROC 곡선의 아래 면적을 곡선하 면적(Area Under Curve)이라고 합니다. AUC는 0~1 범위의 값이지만 무작위로 선택을 하면 0.5가 되므로 실제로는 0.5~1 범위의 값이라고 할 수 있습니다. AUC는 높을 수록 좋습니다.

roc_auc_score(y_test, prob)