(理解一下结论就好了)
集成学习
泛化能力强的集成由「好而不同」的个体学习器构建,即个体学习器的准确性越高,多样性越大,则集成的泛化能力越强。
简单分析:对回归学习任务 ,个体学习器 ,通过加权平均法结合产生集成学习器
定义 和 的「分歧」分别为
分歧项表征了个体学习器在样本 上的不一致性,在一定程度上反映了个体学习器的多样性。
和 的平方误差分别为
定义个体学习器误差的加权平均值为
定义误差-分歧分解(Error-Ambiguity Decomposition)为
上式表明,个体学习器的准确性越高、多样性越大,则集成越好。