当数据集的每个样本的属性由 个属性描述时，则需要学习 使得 ，这种方法称为「多元线性回归」
令
令 ，对 求导得到
当 为满秩矩阵或正定矩阵，则有
其中 是矩阵 的逆矩阵。令 ，则最终学得的多元线性回归模型为
（考试一般不会考）
对于第一部分引入的例题，可以直接通过最小二乘法得到预测函数，即最小化均方误差 。对如下的特征维度 的房价数据，，我们可以直接求得
得到序列 ，再求
对于多元情况，加入每个样本有两个属性“面积”和“所在地块平均地价”，则应该得到预测函数 ，并对样本 进行预测。我们可以通过 求得最小化均方误差的
由于 是正定矩阵，由此可以得到
从而得到回归模型
由