背景:
总览
机器学习方法在生产、生活和科研中有着广泛应用,而集成学习则是机器学习的热门方向之一。
集成学习是使用一系列学习器进行学习,以某种规则把各个学习结果进行整合,从而获得比基学习器有更好学习效果的集成学习器.
今天, 我们在分析讨论集成学习和多类集成学习的同时, 提出目前多类集成学习的一些问题, 供大家参考。
集成学习图例
研究现状
理论丰富
二类集成学习已有较成熟理论基础。多类集成理论基于二类集成。
国际成果:
Bagging (Leo Breiman, 1994,Technical Report No. 421.)
Boosting (Schapire, Robert E,1990 ,“The Strength of WeakLearnability”. Machine Learning (Boston, MA: Kluwer Academic Publishers)
AdaBoost (Yoav Freund and Robert Schapire,2003)
AdaBoost.MH, SAMME, PIBoost, GentleBoost, AdaCost
国内成果:
南大周志华等人提出选择性集成理论,于2001年在国际人工智能
顶级会议IJCAI上发表。另周志华等人提出了二次学习的思想,将集成学习用作预处理,在IEEE Trans. Information Technology in Biomedicine(2003)上发表。 继续阅读#3 集成学习–机器学习中的群策群力 !