通过使得均方误差最小化来进行模型求解的方法称为「最小二乘法」。在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本导致线上的Euclidean 距离最小。特别的，当 时，令
然后对 和 分别求偏导
令 ，以及 得到当 时最优参数 和 的闭式解
其中 ，即 的均值
当数据集的每个样本由 个属性描述时，需要学习
使得 。令 ，令 ，构建一个 大小的矩阵 ，其中每一行对应一个样本。该行的前 个元素对应样本的 个属性，最后一个元素置为 1，即
求得的最优参数即为
令 ，对 求导得到
当 为满秩矩阵或正定矩阵，可得
其中 是矩阵 的逆矩阵。令 ，则最终学得的多元回归模型为
当 不是满秩矩阵时，可以解出多个 均能使得均方误差最小化。此时常见做法为引入正则化项
对于最常见的一元线性回归模型而言
已知工作年限与收入的关系如下表所示，问题：当工作十年时收入是多少，而工作年限为二十五年时，年收入又为多少
解：利用最小二乘法
计算
和
求得的方程为