偏差-方差分解

「偏差-方差分解」（Bias-Variance Decomposition）是一种模型评估手段，是解释学习算法泛化能力的一种重要工具。试图对学习算法的期望泛化错误率进行拆解。对测试样本 ，令 为 在数据集中的标记， 为 的真实标记， 为训练集 上学得模型 在 上的预测数据。以回归任务为例，学习算法的期望预测为

使用样本数量不同训练集产生的方差

噪声为

期望输出与真实标记的差别称为偏差，即

其中，假定噪声期望为 ，即

通过简单的多项式展开合并，可对算法的期望泛化误差进行分解。

因此，泛化误差可分解为偏差、方差与噪声之和。

• 偏差衡量了算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
• 方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
• 噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

偏差-方差分解说明，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。

给定学习任务，为了取得更好的泛化性能，则需使偏差较小，即能够充分拟合数据，并使之方差较小，即使得数据扰动产生的影响小。

偏差-方差窘境（bias-variance dilemma）：偏差和方差通常是与冲突的

• 在训练不足时，学习器的拟合能力不够强，训练数据的扰动不足以时学习器产生显著变化，此时偏差主导了泛化错误率
• 随着训练程度的加深，学习器的拟合能力逐渐增强，训练数据发生的扰动渐尖能被学习器学到，反差逐渐主导了泛化错误率
• 在训练程度充足后，学习器的拟合能力已经非常强，训练数据发生的轻微扰动都会导致学习器发生显著变化。若训练数据本身的非全局的特性被学习器学到了，则将发生过拟合。
•