误差-分歧分解

(理解一下结论就好了)

集成学习

泛化能力强的集成由「好而不同」的个体学习器构建,即个体学习器的准确性越高,多样性越大,则集成的泛化能力越强。

简单分析:对回归学习任务 ,个体学习器 ,通过加权平均法结合产生集成学习器

分歧

定义 的「分歧」分别为

分歧项表征了个体学习器在样本 上的不一致性,在一定程度上反映了个体学习器的多样性。

误差

的平方误差分别为

定义个体学习器误差的加权平均值为

误差-分歧分解

定义误差-分歧分解(Error-Ambiguity Decomposition)为

上式表明,个体学习器的准确性越高、多样性越大,则集成越好。