在回归模型中，「代价函数」是能够衡量模型预测值 与真实值 之间的差异的函数。代价函数不是唯一的，可以由具体的问题来确定。代价函数越小，说明模型和参数越符合训练样本。代价函数取得最小值时，称之为通过训练得到了最优参数。
最常用的代价函数是「均方误差代价函数」
均方误差对应了常用的Euclidean 距离。最小化代价函数就可以得到最优参数为