综合风险指数模型评估法的说明

1. 综合风险指数模型评估法的说明

风险因素发生的概率P的测定有两种：一种是客观概率，是指根据大量历史的实际数据推算出来的概率；另一种是主观概率，是在没有大量实际资料的情况下，人们根据有限的资料和经验合理估计的。敏感系数S表示风险因素的变化程度引起的预期收益率的变化程度，P×S就代表如果某一风险因素发生对预期收益率的影响程度；E是随机误差项，主要起调整作用，避免数据失真与人为误差。在这样一个动态的风险评估模型中，风险投资公司可以根据自身的风险承受能力、预期的回报率、外界环境变化等因素，综合判断目前及未来一段时间内的风险状况，从而制定统观全局的风险管理策略。

2. 综合风险指数模型评估法的例子

举一个简单的数学例子：X=10+(-1)+(-2)+(-4)+2=5正数代表成功收益，负数代表失败损失，风险投资公司追求的正负相抵后的终值X，因此，风险投资公司风险评估的出发点也应该是建立在多项目、多因素基础之上的综合评估，为此，可建立综合风险评估指数模型：V(t)=∑Vit=P1it×S1it+P2it×S2it+…+ Pnit×Snit+Eit(i=0，1，…，n 假设各风险因素发生的概率P和敏感系数S是可知的)V(t)——t时间内的综合风险指数；Pnit——t时间内第i个项目的第n个风险因素发生的概率；Snit——t时间内第i个项目的第n个风险因素的变化对预期收益率的敏感系数；E——随机误差项；i——风险投资公司投资的项目数；t——代表时间。应该说明的是，本模型加入时间因素t，正是考虑风险投资的投资周期长，不确定因素较多，而且各因素在不同时点有不同表现，从而便于动态管理。t最好以月或半月来算，因为风险投资公司的投资不同于每天都有交易记录的证券投资，也不同于需要十几年的时间(其一般周期为3—7年)的传统大型建设项目投资，而且以变现增值为最终目的。根据项目的技术与市场特性，在由不成熟到成熟的过程中，t的间隔太短，会加大风险管理的成本，间隔太长，又会失去风险管理的意义，所以应该注重动态的过程管理，以有效地控制风险。

3. 风险评估和风险管理的技术工具-统计模型和方法论

风险评估（Risk Assessment）是指在风险事件发生之后，对于风险事件给人们的生活、生命、财产等各个方面造成的影响和损失进行量化评估的工作。
  
  
 风险无处不在，风险评估和管理在金融、投资、产品、交通、管理决策、健康医疗、生产安全、公共安全等行业领域中较为常见，受到更多的重视，尤其是监管机构和社会公众对于风险事故的理性反应，也反过来要求经营管理者对于风险的科学有效管理。
  
 风险管理举例：某工厂粉尘爆炸、某地化学物质爆炸、金融危机、食品安全事故、某手机、汽车等产品召回事故。
  
 风险管理在各行业存在着不同的技术工具，也有一定的共通性，ISO和IEC等国际标准化组织也有相关的标准文件，本文将首先对共同性的部分做初步分析，方便读者做迁移分析和应用。
  
 首先了解风险管理和分析的初步框架和步骤： 风险和不确定性有关，也和概率有关，所以统计学工具在风险评估中可以提供参考价值。
  
 风险损失、成本和收益的量化分析： 风险和损失的量化分析关系根据实际的行业和风险变量因素各有不同，这里先简要阐述一个简化模型： 首先建立假设线性模型，RL=a x+b y+c*z+....， RL=损失， a、b、c等于各风险加权系数，x、y、z等于风险变量。 其中损失可以分为有形损失和无形损失，例如财务损失，物品损失或名誉损失等等。 风险变量可以分为系统性风险和随机性风险。
  
 将各个变量曲线累加后，得到总变量-损失曲线。
  
 建模和分析步骤：
  
 首先识别和筛选风险变量，可以通过头脑风暴、变量清单列举法、主要风险分析、情景分析、结构化假设分析SWIFT、失效模式分析、Delphi法、因果分析、潜在通路缝隙等方法，初步确定潜在风险变量。
  
 选择风险变量可以参考MECE原则，完整列出所有变量，并排除重复变量。
  
 例如下图举例，如果有统计数据支持，可以通过回归分析，相关度分析等工具，删除无效或重复、相关变量。 心理学领域内的因果分析举例：
  
 工程技术领域内的故障树分析举例：
  
 选择相关变量后，如果有相关统计数据作为支持，可以通过回归分析建立模型，使用最小二乘法获得最优模拟曲线，进行后续假设验证。
  
 建立了初步的数学模型之后，可以使用决策树分析方法，确定可能性的风险事件和发生概率，计算出总损失。
  
 在决策树建立时，往往需要结合收益和成本进行综合计算和决策分析，例如下图会加入收益概率和计算。
  
 对于概率确定，可以通过经验或理论分析，或实证数据统计给出初步概率。理论分析需要确定事件的分布类型，基于测试或历史数据，对应根据概率密度函数和数学期望值，设定置信区间，之后更精确量化风险概率。 下图为正态分布示意图，置信区间越大，则离数学期望（平均值）偏离误差越大。
  
 对于部分事件，需要进一步breakdown拆分子变量，得出最终概率，下图是事件树举例，计算出每年发生爆炸的概率：
  
 如果A事件和B事件，C事件存在概率时间相关性，即条件概率，可以使用条件概率分析，例如著名的马克洛夫矩阵分析法：
  
 对于成本、收益和损失的三者量化分析，需要将成本加入计算模型，例如在生产质量管理中，生产工艺管控和质量检测等成本变量随质量控制接受限来确定，质量管控严格程度一定意义上和风险发生概率存在负相关关系，质量要求越高，风险事故发生的可能性越小。
  
 当总收益>总成本，则风险管理措施可行，否则需要从降低成本或提高收益等角度实现合理决策。 降低成本有若干方法，例如可以通过量本利分析、确定固定成本和变动成本曲线，提高产量，摊平质量管理成本。
  
 风险损失不仅仅和概率有关，也和危险程度有关，而危险程度也影响到下述公式的系数，即a=矩阵[概率，危险程度] RL=a x+b y+c*z+....
  
 根据危险程度和概率矩阵，具体行业和案例，进行量化加权计分，确定系数值。

4. 【金融风控】风险模型评价指标

 在逻辑回归、随机森林、GBDT、XGBoost这些模型中，模型训练完成之后，每个样本都会获得对应的两个概率值，一个是样本为正样本的概率，一个是样本为负样本的概率。把每个样本为正样本的概率取出来，进行排序，然后选定一个阈值，将大于这个阈值的样本判定为正样本，小于阈值的样本判定为负样本，然后可以得到两个值，一个是真正率，一个是假正率。
   真正率即判定为正样本且实际为正样本的样本数/所有的正样本数，假正率为判定为正样本实际为负样本的样本数/所有的负样本数。每选定一个阈值，就能得到一对真正率和假正率，由于判定为正样本的概率值区间为[0,1]，那么阈值必然在这个区间内选择，因此在此区间内不停地选择不同的阈值，重复这个过程，就能得到一系列的真正率和假正率，以这两个序列作为横纵坐标，即可得到ROC曲线了。而ROC曲线下方的面积，即为AUC值。
                                           K-S曲线其实数据来源和本质和ROC曲线是一致的，只是ROC曲线是把真正率和假正率当作横纵轴，而K-S曲线是把真正率和假正率都当作是纵轴，横轴则由选定的阈值来充当。
   KS(Kolmogorov-Smirnov)：KS用于模型风险区分能力进行评估，指标衡量的是好坏样本累计分部之间的差值。好坏样本累计差异越大，KS指标越大，那么模型的风险区分能力越强。
   KS的计算步骤如下：
                                           要弄明白ks值和auc值的关系首先要弄懂roc曲线和ks曲线是怎么画出来的。其实从某个角度上来讲ROC曲线和KS曲线是一回事，只是横纵坐标的取法不同而已。拿逻辑回归举例，模型训练完成之后每个样本都会得到一个类概率值（注意是类似的类），把样本按这个类概率值排序后分成10等份，每一份单独计算它的真正率和假正率，然后计算累计概率值，用真正率和假正率的累计做为坐标画出来的就是ROC曲线，用10等分做为横坐标，用真正率和假正率的累计值分别做为纵坐标就得到两个曲线，这就是KS曲线。AUC值就是ROC曲线下放的面积值，而ks值就是ks曲线中两条曲线之间的最大间隔距离。
   ROC值一般在0.5-1.0之间。值越大表示模型判断准确性越高，即越接近1越好。ROC=0.5表示模型的预测能力与随机结果没有差别。KS值表示了模型将+和-区分开来的能力。值越大，模型的预测准确性越好。一般，KS>0.2即可认为模型有比较好的预测准确性。KS值一般是很难达到0.6的，在0.2~0.6之间都不错。一般如果是如果负样本对业务影响极大，那么区分度肯定就很重要，此时K-S比AUC更合适用作模型评估，如果没什么特别的影响，那么用AUC就很好了。
                                           查准率和查全率的计算
                                           查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低;而查全率高时，查准率往往偏低。例如，若希望将好瓜尽可能多地选出来（查全率高），则可通过增加选瓜的数量来实现，如果将所有西瓜都选上，那么所有的好瓜也必然都被选上了，但这样查准率就会较低；若希望选出的瓜中好瓜比例尽可能高（查准率高），则可只挑选最有把握的瓜， 但这样就难免会漏掉不少好瓜，使得查全率较低。
    五、P-R曲线 
   根据样例是正例的可能性进行排序，排在前面的是学习器认为"最可能 “是正例的样本，排在最后的则是学习器认为"最不可能"是正例的样本。这样，分类过程就相当于在这个排序中以某个"截断点” (cut point)将样本分为两部分，前一部分判作正例，后一部分则判作反例。
   这个截断点就相当于阈值（threshold），设置不同的threshold计算出当前的查全率、 查准率。即根据不同threshold来绘制曲线，曲线A上的每个点都对应不同的阈值。A,B,C是三个学习器，也可以说是三个模型。
                                            如何度量学习器性能？ 
   若一个学习器的 P-R 曲线被另一个学习器的曲线完全包住 ，则后者的性能优于前者，A优于C若两个学习器的P-R曲线相交，则可根据平衡点和F1度量。
   （1）平衡点（Break-event Point，简称BEP）：即查全率=查准率时的取值。平衡点取值A>B，即A优于B  （2）F1度量 
   Fl 是基于查准率与查全率的调和平均 (harinonic mean)定义的:
                                           群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标。
                                           举例：
   比如训练一个logistic回归模型，预测时候会有个概率输出p。测试集上的输出设定为p1吧，将它从小到大排序后10等分，如0-0.1,0.1-0.2,......。现在用这个模型去对新的样本进行预测，预测结果叫p2，按p1的区间也划分为10等分。实际占比就是p2上在各区间的用户占比，预期占比就是p1上各区间的用户占比。
   意义就是如果模型跟稳定，那么p1和p2上各区间的用户应该是相近的，占比不会变动很大，也就是预测出来的概率不会差距很大。一般认为PSI小于0.1时候模型稳定性很高，0.1-0.25一般，大于0.25模型稳定性差，建议重做。
   PS：除了按概率值大小等距十等分外，还可以对概率排序后按数量十等分，两种方法计算得到的psi可能有所区别但数值相差不大。