SMO 算法

由于支持向量机中的拉格朗日对偶问题式是一个二次规划问题，其问题规模正比于训练样本数，在实际任务中开销过多。「SMO，Sequential Minimal Optimization」是减少计算开销的高效算法。

SMO 算法基本思想，选取一对变量 和 ，固定其他变量，求解上述优化目标得到更新后的 和 ，重复上述两步骤直至收敛。

SMO 采用启发式方法选择 和

• 的选择：先从所有样本中选择一个违反 KKT 条件的参数，再选择第二个参数，一轮迭代更新后，再从非边界样本点中选择一个违反 KKT 条件的参数，再选择第二个参数
• 的选择：从出了第一个参数之外的其他参数重选择 最大的作为第二个参数。