87-预测分析－R语言实现-集成模型

1. 87-预测分析－R语言实现-集成模型

  集成模型方法：    1、装袋-使用同一个数据集的不同样本（可通过有放回的抽样创建）来训练同一个模型的多个版本，然后这些模型会对新的观测数据进行投票，并根据问题的类型作出平均或多数的决策。   对非线性模型装袋才有意义，因为装袋过程就是对产生的模型进行一次取平均值（线性运算）的处理，从而在线性回归里就不会看到任何改善，因为没有增加模型的表达力。   ipred包包含了为通过rpart()构建的树构建一个装袋预测器的工具，可以通过bagging()函数实现。   2、增强-训练一序列模型，并给没有正确分类或远离其预测值的观测数据分配权重，以便增强后续训练的模型把它们放在优先地位。   增强在默认情况下会用到所有的训练数据，并在没有任何惩罚或收缩准则的情况下逐步尝试纠正它犯的错误（虽然要训练的单个模型本身可以是正则化的），因此，增强有时候也会过拟合。另外，很多增强算法在分类过程中对产生的假阳性分类误差和假阴性分类误差是没有差别的处理其权值，即具有一个对称的损失函数，也是其局限性。   fastAdaboost包和gbm包可以实现集成模型中的增强算法。
   任务：分析望远镜照相机拍下的辐射中出现的模式，预测某个模式是来源于泄露到大气中的伽马射线还是常规的背景辐射。
   不存在缺失值。
   g表示伽马射线，h表示背景辐射，重新编码为1和-1。
   使用基本的逻辑回归模型，其结果作为基准对比。
   随机森林是一种基于装袋决策树的非常流行和强大的算法。
   可以看到，所有集成模型的性能都优于单纯的逻辑回归模型。   而本实例中，随机梯度增强模型（gbm）在训练集和测试集上的准确度最接近，拟合效果较好，所以应该选择使用该模型。