机器篇——集成学习(三) 细说 提升(Boosting) 算法

返回主目录

返回集成学习目录

上一章：机器篇——集成学习(二) 细说 随机森林(Rondoom Forest) 算法

下一章：机器篇——集成学习(四) 细说 AdaBoost 算法

二. 具体算法

3. 提升(Boosting) 算法

    (1). Boosting 算法原型

     ①. 任一弱学习算法可以通过加强提升到一个任意正确率的学习算法，并通过构造一种多项式级的算法来实现这一加强过程。

     ②. Boosting 是一种将弱分类器通过某种方式结合起来得到一个分类性能大大提高的强化分类器的分类算法。该方法可以把一些粗略的经验规则转变为高度准确的预测法则。强分类器对数据进行分类，是通过弱分类器的多数投票机制进行的。该算法是一个简单的弱分类算法提升过程，这个过程通过不断的训练，以提高对数据的分类能力。

    (2). Boosting 的思路流程

     ①. 从样本整体集合  中，不放回地随机抽样   ，训练弱分类器  

     ②. 从样本整体集合  中，不放回地随机抽样