MvM 策略

「MvM 策略」(Many vs. Many)是一种多分类学习学习策略。每次将若干个类作为正类,若干个其他类作为反类。OvO 和 OvR 可看作是 MvM 的特例。MvM 的正、反构造必须有特殊的设计,例如常见的 MvM 技术「纠错输出编码」 (Error Correcting)

  • 编码:对 个类别做 次划分,每次将一部分作为正类,其余作为反类,共形成 个二分类训练集,共产生 个分类器
  • 解码: 个分类器分别对测试样本预测,预测标记组成一个编码。将这个预测编码与各个类别各自的标准编码进行比较,返回距离最小的类别作为预测结果

类别划分通过编码矩阵制定。常见的编码矩阵主要有二元码和三元码

如图 ECOC 二元码矩阵:分类器 类和 类的训练数据作为正类, 类的训练数据作为反类,在解码阶段,各分类器的分类结果联合起来形成了测试数据的编码,该编码与各类所对应的编码进行比较,将就最小的编码所对应的类别作为最后输出分类。图中,最后输出分类为

img-2024-05-02 11-13-52.png

纠错输出码:ECOC 编码对分类器的错误有一定的容忍和修正能力。类别 标准编码 ,因为 分类器预测出错导致错误编码,但是基于该错误编码仍然能产生正确的分类结果。

一般来收,对于同一个学习任务,ECOC 编码越长,纠错能力越强,然而编码越长,对应计算、存储开销都会增大。另一方面,对于有限类别数,可能的类别组合是有限的,码长超过一定范围后就失去了意义。