机器学习：ROC曲线笔记

ROC曲线（Receiver Operating Characteristic Curve）是一种用于评估二分类模型性能的图形化工具，主要用于展示在不同阈值（Threshold）下模型的真阳性率（True Positive Rate，TPR）和假阳性率（False Positive Rate，FPR）之间的关系。

ROC曲线最早起源于二战期间，用于分析雷达信号检测敌方飞机的能力，随后逐渐扩展到其他领域，特别是医学诊断。自20世纪末，ROC已被广泛应用于机器学习，通过改变分类阈值，展示模型将正类与负类区分开来的能力，以此找到最佳的模型参数和决策阈值。

---

目录

基本概念

1.混淆矩阵（Confusion Matrix）

1.1 组成类别

1.2 评估指标

2. AUC（Area Under the Curve）

3.约登指数（Youden's index）

曲线组成

---

---

基本概念

---

1.混淆矩阵（Confusion Matrix）

也称为误差矩阵，用于展示实际类别与模型预测类别之间的关系，以此评估有监督学习中分类模型的性能。混淆矩阵对于二分类和多分类问题都适用，在流行病学研究中，它被应用于评估筛检试验的真实性。

预测	实际
	正例	负例
正例	真阳性（TP）	假阳性（FP）
负例	假阴性（FN）	真阴性（TN）

（ROC曲线是多个混淆矩阵结果的组合）

1.1 组成类别

真阳性（True Positive，TP）：模型正确地将正类预测为正类的数量。

假阴性（False Negative，FN）：模型错误地将正类预测为负类的数量。

假阳性（False Positive，FP）：模型错误地将负类预测为正类的数量。

真阴性（True Negative，TN）：模型正确地将负类预测为负类的数量。

1.2 评估指标

通过混淆矩阵，我们可以计算出多种评估指标，从不同角度评估模型性能：

准确率（Accuracy）：模型正确预测的总体比例，计算公式为：

精确度（Precision）：模型预测为正类中实际为正类的比例，计算公式为：

召回率（Recall）或灵敏度（Sensitivity）：实际为正类中模型预测为正类的比例，计算公式为：

特异度（Specificity）：实际为负类中模型预测为负类的比例，计算公式为：

F1分数（F1 Score）：精确度和召回率的调和平均数，计算公式为：

2. AUC（Area Under the Curve）

曲线下面积，用于综合评价模型在各种不同阈值下的表现。AUC的取值范围在0~1，常用于量化比较不同分类器的性能，AUC值越高，表示模型性能越好。

AUC = 1.0 ：完美分类器，模型没有任何的分类错误；

AUC > 0.5 ：模型具有将正类和负类区分开来的能力，且性能超过了随机猜测；

AUC < 0.5 ：模型的表现还不如随机猜测，表明模型存在严重问题。

3.约登指数（Youden's index）

也称为正确指数，常用于确定最佳阈值，即约登指数最大的时候，模型分类能力最佳。计算方式为：

---

---

曲线组成

1.真阳性率：也称为灵敏度、召回率或命中率，作为纵坐标；

2.假阳性率：是在所有实际负例中，被错误地判断为正例的比例，作为横坐标；

3.阈值：是界定正类和负类的分界线。通过调整阈值，模型预测正类的标准更高或更低，从而影响到TPR和FPR的值。ROC曲线上的每一个点都对应一个特定的决策阈值。

4.AUC：ROC曲线与坐标轴对角线组成的面积。

曲线绘制：在一个坐标图上，将FPR作为横轴（X轴），TPR作为纵轴（Y轴）。对于一个二分类模型，通过改变决策阈值，我们可以得到一系列的（FPR, TPR）点，将这些点连线就形成了ROC曲线。理想情况下，最好的预测模型的ROC曲线会尽可能地靠近左上角，意味着具有更高的TPR和更低的FPR。

---