如果学习任务的假设空间往往很大,可能有多个假设在训练集上达到同等性能,此时若使用单学习器可能因为误选而导致泛化性能不佳,结合多个学习器则会减小这一风险
学习算法往往会陷入局部极小,有的局部极小点所对应的泛化性能可能很糟糕,而通过多次运行之后进行结合,可降低陷入糟糕局部极小点的风险
某些学习任务的真实假设可能不在当前学习算法所考虑的假设空间,此时若使用但学习器肯定无效,而通过结合多个学习器,由于相应的假设空间有所扩大,有可能学得更好的近似
假定集成包含 个基学习器 ,其中 在示例 上的输出为 。有几种对 进行结合的常见策略。如平均法,投票法,学习法等