绝对干货！有关评分模型验证的7大问题
The following article is from 金科应用研院 Author Jackie Liang
信用评分世界正处于一个困难的环境中，在这种环境中，贷款人被经济衰退迫使以非常保守的方式经营其业务。消费者以类似的方式处理信贷......然而，随着我国经济扶持力度不断加大，消费者已经调整，而许多贷方却没有。
最明显的一个信贷类型就是小微企业信贷，引用我常说的一句：我国的小微信贷非贷给真正的小微。
当然今天我们讨论的不是有关小微企业信贷，而是关于评分模型验证的7个问题。
在最近的一次金融科技应用研究院（简称FAL）研究中发现，贷款人验证他们的信用评分模型对于解释经济衰退期间的消费者行为。与传统的评分模型相比，消费者的信誉度可能更高 - 如果贷款人不调整，他们将继续错失机会。
Q1:今天我们来谈谈认为非常重要的事情，但不是信用评分业务中的每个人都必须关注：验证你的模型。
A1:我认为信用评分的世界长期以来一直比较困倦。在许多方面，评分开发者和用户都没有觉得非常必要去验证他们的分数是如何预测，看着他们在哪里表现好，哪里不会表现良好。
然而，我们所看到的，在过去5到6年以及经济衰退的所有波动中，得分表现确实发生了非常显着的变化 - 特别是在抵押贷款、小微信贷领域。如果没有每年进行验证，我们真的不知道较差的表现模型会产生多少曝光。
以小微信贷为例，在我们的研究过程中，我们从不同类型金融机构（涉及头部银行、网络小贷约10W+小微企业信贷数据）中调查了1万+小微企业，并对该信息深度进行了验证，寻找模型表现良好的方式 - 更重要的是探索行业和经济因子。
这是贷方的关键信息，它确实有助于风险管理和风险策略设计。
Q2:评估分数是什么？
A2:验证不同经济环境中消费者的表现。
我们在不同特定时间段对消费者进行评分，通常是两到四年的时间窗口，最后我们确定他们的表现：他们是否继续按时偿还债务，还是违约？
我们使用业内非常熟悉的统计数据：GINI统计数据和Kolmogorov-Smirnov（KS）统计数据。这些旨在确定有多少消费者将要违约，相对于多少消费者按时支付。我们利用它们来衡量模型对消费者进行排名的程度。
考虑较长时间窗口的不同经济波动，可以发现在某些特定时期的模型表现会与经济波动成反比关系。
Q3:了解到了什么？
A3:我们了解到，在经济衰退期间，模型开始变得没有预测那么好。行为的波动性意味着模型难以区分良好表现和不良表现。
非常清楚，所有模型都继续做得很好 - 但它不如最初开发时那么好（此时可以想想美国的FICO分）。
经济衰退结束后，我们现在看到这些模型实际上再次表现良好，因为经济稳定得多。
Q4:具体来说，模型在哪些方面表现不佳？
A4:在有关期间管理信贷时，业绩受到各种潜在消费行为的影响。
一个例子是房屋贷款的战略违约。在信用卡和汽车贷款违约之前，消费者违约抵押贷款。这与消费者通常对抵押贷款作出反应的方式背道而驰; 抵押贷款是最大和最重要的贷款，它基本上是消费者的主要资产。
从历史上看，人们总是确保他们支付房屋贷款。但是，在经济衰退期间，一小部分人口开始违约房屋贷款，同时保持信用卡和车辆贷款的良好信誉。
传统消费者行为的这些变化可能导致评分模型试图预测它的方式的不确定性。
Q5:是否要因为行为(经济)的改变而对风险评分进行调整？
A5:是的，作为验证的一部分，我们通过无数的统计数据，寻找行为变化等实例。在某些时候，这会引发全球重建：我们需要在不同经济环境下更新模型以反映更新的数据，以及更准确地表示消费者如何处理其债务的更新时间框架。
Q6:没有信用并不一定意味着某人是一个不良信用风险; 相反，它可能意味着他们只是不习惯使用信贷，但仍然是信誉良好的个人。这是结论吗？
A6:这是完全正确的。由于经济衰退，人们在信贷管理和信贷使用方面变得越来越保守，因此传统的评分标准越来越失败。即使初创小微企业营收稳定增加纳税良好但因为年营收额没有达标，也被视为信誉不佳。
如果以非常特殊的方式对待这些消费者，那么这些消费者实际上可以非常有效地得分。它们应该与其他人在同一个雷达屏幕上。
Q7:贷款人是否应该接受这个想法，根据他们自己的投资组合来验证他们的评分模型？你会建议他们投出更广泛的网吗？
A7:是的，我会推荐这个。
我们在过去几年的验证过程中所做的一件事就是如何更好的结合宏观经济因素以调整模型和验证模型，甚至考虑加入货币机制。
接下来我们将要针对一些特定的信贷领域开展风险模型的全面验证，让我非常清楚的是：我认为贷款人首先需要验证他们自己的投资组合以及他们业务的信用评分是否完全捕捉了消费者的独特特征。
在某种意义上，我们希望提供一个教育平台，用于如何考虑超出标准程序的验证。
当我们打开信用卡，可以说，寻找新的消费者和新的机会时，我们可以从过去发生的事情中学习，并在新的验证程序中反映出来，以便我们不再重复这些错误。
来源|金融科技应用研究院
作者|Jackie Liang
5月量化风险管理精品课程
66号学苑&金融科技应用研究院联合出品
更多精彩，戳这里：