自适应提升算法Adaboost及其变种SAMME与SAMME.R解析

发布时间:2025-01-06 14:45

城市文化解析:分析城市方言的演变及其文化影响 #生活乐趣# #生活分享# #城市生活观察# #城市文化解析#

自适应提升法

最新推荐文章于 2024-10-17 07:30:00 发布

菜菜沝 于 2021-10-14 09:14:08 发布

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

自适应提升算法,英文Adaboost的全称是Adaptive Boosting。是一种有监督的集成学习。核心思想是对某一特定的训练集训练多个弱分类器,然后根据相应策略将这些弱分类器结合起来,构成最终的强分类器。
自适应提升法的核心思想是,在每次分类任务中重点关注被错误分类的样本,减少对被分类正确的样本的关注。这样逐步可以得到一个比较清晰的分类方向,即一个强分类器。

SAMME算法

算法的提出:
SAMME是一种多分类自适应提升算法。对于自适应提升法,要想在每轮训练中增大对分类错误标签的关注程度,即给误分类样本增加权重,则要保证每轮训练的错误率都小于0.5,(如果大于0.5,则在下一轮训练时会有更多的分类错误的选项)。对于二分类问题,每个样本被预测正确的概率为0.5,要达到0.5以上的正确率,是相对容易的。但是对于多分类任务来说,如果有K个类别,则被预测正确的概率就变成了1/K,要想达到0.5以上就变的更难。SAMME算法就是针对这一问题提出的。

具体算法过程见:https://blog.csdn.net/weixin_43298886/article/details/110927084
在这里插入图片描述

SAMME.R算法

与SAMME算法不同的是可以利用概率信息进行分类。SAMME.R算法通过损失近似的思想,将加权分类模型的概率输出信息与boosting方法相结合。SAMME.R中的字母“R”代表“Real”,意味着模型每轮迭代的输出为实数。
在这里插入图片描述

Adaboost.R2

利用权重分配的思想,处理实际应用中的回归问题。

网址:自适应提升算法Adaboost及其变种SAMME与SAMME.R解析 https://www.yuejiaxmz.com/news/view/656081

相关内容

提升方法与集成学习(学习笔记)
机器学习(七):提升(boosting)方法
机器篇——集成学习(三) 细说 提升(Boosting) 算法
一种智能家居空气环境自适应调节系统及其方法与流程
集成学习:投票法、提升法、袋装法
【提升自我】心法及工具
自动驾驶系列—深入解析自动驾驶车联网技术及其应用场景
算法优化的艺术:降低时间复杂度与提升算法效率的实战技巧
常见的分类算法及其应用场景
机器学习建模神器PyCaret已开源!提升效率,几行代码轻松搞定模型

随便看看