【机器学习】分类模型的评价方法
🌻个人主页：相洋同学
🥇学习在于行动、总结和坚持，共勉！
#学习笔记#
目录
一、混淆矩阵（Confusion Matrix）
二、评估指标（Evaluation metrics）
1.正确率(accuracy)
2.精准率（precision）
3.召回率（recall）
4.调和平均值(F1)
三、ROC、AUC与P-R曲线
1.ROC曲线
2.AUC
3.P-R曲线
一、混淆矩阵（Confusion Matrix）
混淆矩阵可以用来评估分类模型的正确性，该矩阵是一个方阵，矩阵的数值用来表示模型预测结果与真实结果的对比统计。包括真正例(True Positive)、假正例(False Positive)、真负例(True Negative)、假负例(False Negative)。
通过上图我们不难得出以下几点结论：
1.竖着来看，正正例（TP）+假负例（FN）= 预测为正样本的数量，假正例（FP）+ 真负例（TN）= 预测为负样本的数量；
2.横着来看，真正例（TP）+ 假正例（FP）= 正样本的数量。假负例（FN）+ 真负例（TN）= 负样本的数量。
3.整体来看，真正例（TP）+ 假正例（FP）+ 假负例（FN）+ 真负例（TN） = 所有样本数量
如何确定正样本和负样本？
一般来我们规定样本少的为正样本，或我们更关注的为正样本。例如垃圾邮件检测中的垃圾邮件，癌症筛查中的癌症患者。
二、评估指标（Evaluation metrics）
从混淆矩阵中可以得到更高级的分类指标，不同的指标在不同场景中发挥作用。
1.正确率(accuracy)
正确率的定义：
简单来说就是所有预测对的占所预测的数量
2.精准率（precision）
精准率的定义如下：
即正确预测为正的数量占所有预测为正的数量，又称查准率。在垃圾邮件或垃圾短信识别中比较看重
3.召回率（recall）
召回率的定义如下：
即正确预测为正的数量占所有为正的数量，又称查全率，可以理解为宁可错杀一百也不放过一个，在癌症排查，或者流行病筛查中比较看重
4.调和平均值(F1)
F1定义为精确率预召回率的调和平均值：
三、ROC、AUC与P-R曲线
1.ROC曲线
使用图形来描述二分类系统的性能表现。图形的纵轴为正正例率（TPR--True Positive Rate）,横轴为家正例率（FPR--False Positive Rate）。其中，真正例率与加正例率定义为：
ROC曲线通过真正例率（TPR）与假正例率（FPR）两项指标，可以用来评估分类模型的性能。真正例率与假正例率可以通过移动分类模型的阈值进行计算。随着阈值的改变。真正例率与假负例率也会随之发生改变，进而就可以在ROC曲线坐标上形成多个点
随着阈值的降低，TPR与FPR都会增大，重要的是，看谁增长的更快，如果TPR增长的更快，则曲线越想上凸，模型的分类效果越好。
2.AUC
AUC(Area Under the Curve)是指ROC曲线下的面积，在比较多个分类模型效果时，会比ROC曲线更加直观。
3.P-R曲线
模型在不同的阈值下，会对应不同的精准率与召回率，我们以横轴为召回率，纵轴为精准率，将这些点连成线就构成了P-R（Precision-recall）曲线。
P-R曲线上的点体现为不同阈值下，精准率与召回率的对应关系
关于P-R曲线，说明如下
（1）精准率与召回率无法同时增大，一个增大时，另一个可能就会降低
（2）随着召回率的增加，精准率一定会呈现下降的趋势
（3）当对精准率或召回率具有定量要求时，P-R曲线就会非常有用
以上
学习在于行动，总结和坚持，共勉
