ROC分析.ppt

1、 ROCROC【receiver receiver operating operating characteristiccharacteristic】，译译为为“接接收收者者工工作作特特征征”，二二战战时时期期用用于于表表示示信信号号检测特性时创造的术语。检测特性时创造的术语。ROCROC曲线研究历史曲线研究历史1950s 雷达信号观测能力评价雷达信号观测能力评价1960s中期中期 实验心理学、心理物理学实验心理学、心理物理学1970s末与末与1980s 诊断医学诊断医学ROC的涵义与起源的涵义与起源 ROC曲线是是显显示示分分类类模模型型真真阳阳率率（灵灵敏敏度度）和和假假阳阳率率（虚虚警警

2、率率）之之关关系系的的一一种种图图形形化化方方法法，ROC曲曲线线可可以以用用于全面评价一个分类器。于全面评价一个分类器。考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被预测成正类，即为真阳类（True positive）,如果实例是负类被预测成正类，称之为假阳类（False positive）ROC曲线评价诊断试验的重要性曲线评价诊断试验的重要性所谓“金金标标准准”是指当前临床医学界公认的诊断疾病的最可靠、最准确、最好的诊断方法.临床上常用的金标准有组织病理学检查（活检、尸检）、手术发现、影像诊断

3、（CT、核磁共振、彩色B 超）、病原体的分离培养以及长期随访所得的结论。金标准一般是特异性诊断方法，可可以以正正确确区区分分为为“有有病病”和和“无病无病”True Positive Rate,TPR 或或灵敏度（灵敏度（sensitivity）TPR=TP/（TP+FN）正样本预测结果数正样本预测结果数/实际正样本数实际正样本数 False Negative Rate,FNR 或漏诊率、漏报率或漏诊率、漏报率FNR=FN/（TP+FN）被预测为负的正样本结果数被预测为负的正样本结果数/实际正样本数实际正样本数 False Positive Rate,FPR 或误诊率或误诊率/虚警率虚警率FP

4、R=FP/（FP+TN）被预测为正的负样本结果数被预测为正的负样本结果数/实际负样本数实际负样本数 True Negative Rate,TNR 或或特异度（特异度（specificity）TNR=TN/（TN+FP）负样本预测结果数负样本预测结果数/实际负样本数实际负样本数 诊断试验中常用的评价指标例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果实际状态合 计出现心梗不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果实际状态合 计出现心梗不出现阳 性阴 性合计4

5、16(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果实际状态合 计出现心梗不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果实际状态合 计出现心梗不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)ECG诊断结果实际状态合 计出现心梗不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）2755201

6、80700(N)在进行诊断临界点选择的时候，需要综合考在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度，选择最佳诊断界值。虑灵敏度和特异度，选择最佳诊断界值。ROC曲线提供了很好的临界点选择工具。曲线提供了很好的临界点选择工具。灵敏度灵敏度,特异度特异度,假阴性率假阴性率,假阳性率假阳性率主要任务：主要任务：l计计算算ROC曲曲线线工工作作点点（Coordinate point或或Operating point）（）（FPR,TPR）l连接相邻两点连接相邻两点ROC曲线工作点的计算与曲线绘制曲线工作点的计算与曲线绘制连续型数据的连续型数据的ROC曲线工作点（曲线工作点（TPR，FPR）计

7、算）计算 将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表表表133 假想的连续型数据假想的连续型数据有序分类数据的有序分类数据的ROC曲线工作点（曲线工作点（TPR，FPR）计算）计算 将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。（1）ROC曲线上的每一个点对应于一个曲线上的每一个点对应于一个threshold，大于这个值的实例划归为正类，小于这个值则划到负类中，大于这个值的实例划归为正类，小

8、于这个值则划到负类中.Threshold最大时，把每个实例都预测为负类，最大时，把每个实例都预测为负类，TPR=0,FPR=0，对应于原点；，对应于原点；Threshold最小时，把每个实例都预测为正类，最小时，把每个实例都预测为正类，TPR=1,FPR=1，对应于右上角的点，对应于右上角的点(1,1)可以根据对灵敏度和特异度的特定要求，确定可以根据对灵敏度和特异度的特定要求，确定ROC曲线一适当的工作点，确定最好的决策阈值。曲线一适当的工作点，确定最好的决策阈值。（2）理想情况下，）理想情况下，TPR应该接近应该接近1，FPR应该接近应该接近0。一个好的分类模型应该尽可能靠近图形的左上角，一

9、个好的分类模型应该尽可能靠近图形的左上角，而一个随机猜测模型应位于连接点（而一个随机猜测模型应位于连接点（TPR=0,FPR=0）和（）和（TPR=1,FPR=1）的主对角线上。）的主对角线上。（3）ROC曲曲线线下下方方的的面面积积（AUC）提提供供了了评评价价模模型型平平均均性性能能的的另另一一种种方方法法。如如果果模模型型是是完完美美的的，那那么么它它的的AUG=1，如如果模型是个简单的随机猜测模型，那么它的果模型是个简单的随机猜测模型，那么它的AUG=0.5，如果一个模型好于另一个，则它的曲线下方面积相对较大。，如果一个模型好于另一个，则它的曲线下方面积相对较大。ROC曲线可以全面评分

10、类器的性能。曲线可以全面评分类器的性能。FPRFNR完美与无用的完美与无用的ROC曲线曲线真真阳阳性性率率即即灵灵敏敏度度假阳性率假阳性率 即即 1特异度特异度机率线机率线(chance line)(diagonal reference line)诊断准确度较低（诊断准确度较低（0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲线下面积（曲线下面积（Area）与诊断准确度高低）与诊断准确度高低高 0.90-1.00=excellent(A)中 0.80-0.90=good(B)0.70-0.80=fair(C)低 0.60-0.70=poor(D)0.50-0.60=fail(F)