算法原理集成学习（ensemble leaning）通过构建并结合多个学习器来完成学习任务，通过将多个学习器结合，常常可以获得比单一学习器显著优越的效果和泛化能力。集成学习中的基学习器可以是同质的，也可以是异质的。根据个体学习器的生成方式，目前的集成学习方法大致可分为三大类：一类是Bagging，个体学习器之间不存在强依赖关系，可以同时并行化训练和生成，最终结果通常通过投票机制产出，随机森林是这一类型的代表；另一类是Boosting，个体学习器之间存在强依赖关系，后一学习器依赖前一学习器的结果，，因此必须以序列化形式串行生成，我们下节会讲到的Adaboost和GBDT是这一类型的代表；其实还有第三类，叫Stacking，即将初级学习器的输出次级学习器的输入特征，深层神经网络甚至可以理解为Stacking集成学习的变种。算法原理集成学习（ensemble leaning）通过构建并结合多个学习器来完成
阅读背景：
机器学习算法之随机森林
来源：互联网
分享到：
