支持向量回归

支持向量回归」(Support Vector Regression, SVR)是支持向量机回归任务中的应用。

假设能容忍 最多有 的偏差,相当于以 为中心,构建了一个宽度为 的间隔带;若样本落入此范围中,则认为预测正确。

img-2024-05-02 16-23-10.png

如图,红色为间隔带,落入其中的样本不计损失。SVR 的优化目标与软间隔支持向量机是类似的

其中 是「正则化常数」, 称为「 不敏感损失函数」,其定义为

引入松弛变量 ,则上式可重写为

再求它的对偶问题

上述过程同样需要满足KKT 条件。解出上式中的 后,可得到

其中 。实践中常取多个或所有满足 的样本求解 后取平均值。