boosting和bootstrap的区别！Python基础

　　Boosting和bootstrap是机器学习之中几种常用的重采样方法，也是学习Python过程中会涉及的知识，那么boosting和bootstrap的区别是什么呢?我们一起来看看吧。

　　Bootstrap重采样方法主要用于统计量的估计;boosting方法则主要用于多个子分类器的组合。

　　首先我们来了解一下bootstrap：估计统计量的重采样方法。

　　Bootstrap方法是从小到大为N的原始训练数据集DD中随机选择N个样本点组成一个新的训练集，这个选择过程独立重复B次，然后用这B个数据集对模型统计量进行估计，由于原始数据集的大小就是N，所以这B个的训练集中不可避免的会存在重复的样本。

　　接下来我们再来学习一下boosting，依次训练K个子分类器，最终的分类结果由这些子分类器投票决定。

　　首先从大小为N的原始训练数据集中随机选取N1N1个样本训练出第一个分类器，记为C1C1，然后构造第二个分类器C2C2的训练集D2D2。要求：D2D2中一半样本能被C1C1正确分类，而另一半样本被C1C1错分。

　　接着继续构造第三个分类器C3C3的训练集D3D3，要求：C1C1、C2C2对D3D3中样本的分类结果不同，剩下的子分类器按照类似的思路进行训练。

　　Boosting构造新训练集的主要原则就是使用最富信息的样本。