本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
AUC是二分类模型的一种常用评估指标,那么AUC要达到多少模型才有效果呢
本文分享笔者个人对AUC的使用经验,并通过一个小实验具体地展示AUC与模型效果的关系
通过本文,可以具体地了解,AUC要达到多少才有意义,才可以令模型投产
本节分享笔者对于AUC与模型效果之间的关系的感性经验
AUC多少才有效果
AUC用于评估二分类模型在不同阈值下的综合效果,它代表着模型虚警率为0.5时的期望查全率
AUC越高,越有可能挑选到一个阈值使得模型FPR尽量低的同时,又能令TPR尽量的高
那么,AUC要达到多少,模型才算有效果呢?
下面分享笔者日常建模时对AUC的一个感性经验认识:
AUC<=0.58:模型毫无效果
0.58<AUC<=0.63:模型可能有效,也可能没效
0.63<AUC<=0.68:模型开始生效,但模型投产很难真正有效益
0.68<AUC<=0.73:模型开始生效,模型投产可能会有一定的效益
0.73<AUC<=0.78:模型已经生效,模型投产基本会有效益
0.78<AUC<=0.83:模型强
0.83<AUC<=0.88:模型很强
0.88>AUC :模型超级强
虽然笔者也想按0.6、0.7、0.8....这样进行区分,但AUC的效果变化的确不是这么整齐...
总的来说,一般0.7~0.8之间的AUC是日常比较正常的有效数值,AUC达到0.75就算比较好了
但AUC具体多少才可以投产,还需要根据具体业务具体分析
本节通过一个小实验,具体地展示不同AUC值的效果,进一步具体认识AUC多少才有效果
AUC实验数据生成
分别由 和 生成两组数据,
具体数据与ROC曲线如下:
两组数据的AUC分别为0.664和0.745, 下面我们分别分析它们在项目中的实际效果
不同AUC的效果分析
上述实验中,我们得到了AUC分别为0.745与0.664的两组数据,下面我们分析它们的实际效果
AUC=0.745的效果分析
在AUC=0.745的FPR-TPR里,我们挑得性价比比较好的组合是:查全率,虚警率 [0.2,0.58]
对于一般业务来说,投入20%的虚警成本,排查出58%的目标样本,应该是挺有价值了
例如,小贷中,虽然损失了20%的好客户,但是排掉了58%的坏客户
58%坏客户带来的损失远远大于20%好客户带来的利润,这时候使用模型的价值就非常明显了
AUC=0.664的效果分析
在AUC=0.664的FPR-TPR里,我们挑得性价比比较好的组合是:查全率,虚警率 [0.1,0.32]
对于一般业务来说,投入10%的虚警成本,排查32%的目标样本,
虽然也是有价值,但排查出的目标样本占比还是过少了
因此,0.66的AUC不是不可用,这时候模型已经是有区分度了,只是对于实际使用,力度不够
AUC效果实验-总结
AUC=0.666 代表模型对目标样本已经有初步的识别度
AUC=0.745 代表模型不仅有识别度,对目标样本还有较大的识别力度
用人话来说,0.66代表模型还弱,还需要继续优化,0.75代表模型基本已经有不错的商用价值了
以上都为实验数据,细节仅为参考,但本实验结论与实际项目中经验结论基本是一致的
好了,上述就是关于AUC多少才有效果的所有内容了~
End