数据挖掘：基于R语言的实战 | 第9章：基于决策树的模型组合

  上一章我们学习了决策树模型，这一章我们继续学习几种基于决策树的模型组合，包括袋装决策树、梯度提升决策树、随机森林和贝叶斯可加回归树。本章的最后提供了在R语言中建立以上几种模型的案例。

  9.1节简要介绍了袋装决策树模型。上一章中，我们曾讨论过决策树模型的缺点，其中一个缺点是，决策树模型的结构不稳定，容易受到训练数据和测试数据划分的影响。袋装法从学习数据集中通过有放回的抽样方法，获得多个新的数据集，根据每个新数据集分别建立决策树，最后再对所得的多个模型进行平均。袋装法将多棵树组合在一起能有效提升模型性能。

  9.2节介绍了梯度提升决策树的思想和实现方法。梯度提升树通过可加模型将多棵树结合在一起对因变量进行拟合，形式如下：

其中为自变量，表示单棵决策树，为它的参数（包含树的结构、划分规则和各叶节点的预测值信息），为决策树的数量或迭代次数。以表示使用拟合带来的损失，建模过程通过最小化对训练数据各个观测的总损失来获得最优的组合学习器：

  这一节还简要介绍了不同因变量类型下模型的形式，以及求解最优解的梯度下降方法。

  9.3节简要介绍了随机森林算法。考虑一个问题，如果数据中有某几个变量比较“强势”，即这些变量对预测有非常好的效果，那么训练多棵树时这些变量更可能优先被选择作为划分变量，因而这多棵树是“长得很像”的，这被称为树之间的相关性。为了解决这个问题，随机森林在选择划分变量时也加入了随机性，在每次对非叶节点进行划分时，从所有的个自变量中随机选取个变量作为划分变量，再从这个变量中生成最优划分规则。这就是随机森林算法的基本思想。

  9.4介绍贝叶斯可加回归树模型。考虑使用如下可加模型对因变量进行拟合：

其中为自变量，为回归树的数量，为第棵树的结构和划分规则，为第棵树中个叶节点的预测值，表示一个自变量为的观测在第棵回归树落入的叶节点的预测值（某个值）。

  以因变量是连续型变量为例，假设，其中。在贝叶斯分析的框架下，和都被看作参数，被赋予先验分布。通过马尔科夫链蒙特卡洛算法，从这些参数的后验分布进行抽样，产生它们的个后验样本和。在对一个自变量为的观测的因变量进行预测时，可根据 得到的个后验样本，再取这些后验样本的均值作为的预测值。

  当因变量为离散型变量时，使用连接函数（Probit或Logistic形式）将预测值转换成预测的概率即可。

  最后，9.5节给出了在R中实现以上几种模型的示例，并对模型的结果进行小结。每个案例都给出了具体的操作代码和详细的注释，供同学们动手操作起来，快来一起学习吧！