「卡尔闲谈」风控模型常用的评估指标介绍

风控模型建立之后，必须对风控模型的效果进行评估。在分类模型评估中，最常见的评估标准有KS曲线、ROC曲线、AUC值等。那么她们分别的意思和用途是什么呢？以下为卡尔数科风控总监介绍的全部内容。

01

KS曲线

KS(Kolmogorov-Smirnov)：用于评估模型的风险区分能力，指标衡量的是好坏样本累计分布之间的差值(最大值）。好坏样本累计差异越大，KS指标越大，那么模型的风险区分能力越强。

为了便于理解，现假设有1000个样本，其中200个为坏样本（标记为1），800个为好样本（标记为0）。计算模型KS值的步骤如下：

step1：用这1000个样本训练一个模型(可以是逻辑回归、GBDT等)，得到1000个样本预测为逾期的prob。

step2：把1000个样本根据prob从高到低排序。

step3：把样本均分成10组/20组等。

step4：统计每个组别中逾期客户数量/正常客户数量。

step5：统计每个组别中累计逾期客户数量占比/累计正常客户数量占比。

step6：计算每个组别中abs(累计逾期客户数量占比-累计正常客户数量占比)。

step7：找到累计占比差值绝对值最大的数，即为所求的KS值。

计算出了模型的KS，那么什么样的KS值，模型是可以使用的？根据行业内的规范，一般KS值要大于0.2才是一个可用的模型，且KS值越大模型效果越好。但是，KS值过高，需核验模型是否使用未来变量，要谨慎使用。具体KS值对应的模型区别能力见下表：

02

ROC曲线和AUC值

ROC（Receiver Operating Characteristic）:曲线通过设置不同的临界值，来展示分类模型在不同临界值下的表现。

AUC（Area Under Curve）:ROC 曲线与 FPR 轴围成的面积记作 AUC，AUC 越大，说明分类器的性能越好。

风控模型训练完成之后，每个样本都会有对应的两个概率值，一个是样本为正样本的概率，一个是样本为负样本的概率。把每个样本为正样本的概率取出来，进行排序，然后选定一个阈值，将大于这个阈值的样本判定为正样本，小于阈值的样本判定为负样本，然后得到两个值，一个是真正率，一个是假正率。

真正率是判定为正样本，实际为正样本的样本数/所有的正样本数。假正率是判定为正样本，实际为负样本的样本数/所有的负样本数。每选定一个阈值，就能得到一对真正率和假正率，由于判定为正样本的概率值区间为[0,1]，那么阈值必然在这个区间内选择，因此在此区间内不停地选择不同的阈值，重复这个过程，就能得到一系列的真正率和假正率，以这两个序列作为横纵坐标，即可得到ROC曲线了。而ROC曲线下方的面积，即为AUC值，一般模型的AUC在0.5到1之间，AUC越高，模型的区分能力越好。

AUC也存在一些缺陷：

1.忽略了预测的概率值和模型的拟合优度；

2.AUC 反应的信息过于笼统，无法反应实际业务中关心的指标；

3.AUC 对 FPR 和 TPR 两种错误的代价同等看待；

4.AUC 没有给出模型误差的空间分布信息；

5.AUC 的 misleading 的问题：可能存在两个模型的 AUC 相等，但其在不同区域的预测能力是不同的。

03

KS与AUC的区别

KS值是能找出风控模型中差异最大的一个分段，因此适合用于cut_off，像评分卡就适合用KS值来评估。但是KS值只能反映出哪个分段是区分最大的，而不能反映所有分段的效果，因此同时还要关注AUC值。AUC值一般在0.5到1之间，值越大表示模型判断准确性越高，即越接近1越好。

如果负样本对业务影响极大，那么区分度肯定就更重要，此时KS比AUC更合适用作模型评估，如果没什么特别的影响，用AUC评估就可以了。

END