极大似然估计

如何获取Bayes 最优分类器中类条件概率 ？

涉及到关于 所有属性的联合概率，直接根据样本出现的频率来估计是很困难的。例如，假设 的 个属性都是二值的，则样本空间将有 种取值，可能远大于训练时中的训练样本数目 。很多样本取值在训练集中可能根本没有出现，直接使用出现频率来估计 是不可行的。未被观测到与出现概率为零通常是不同的。

假设 具有稳定的形式，且被参数向量 唯一确定。则可以利用训练集数据 来估计参数 。这一过程称为「参数估计」（parameter estimation）。对于参数估计的方法，有两种学派：

• 频率主义学派：参数虽然未知，但却是客观存在固定的值。可以通过优化似然函数等准则来确定参数
• 贝叶斯学派：参数也是未观察到的随机变量，其本身也可以有分布。假定参数也服从某种先验分布，然后基于观测数据来计算参数的后验分布。

「极大似然估计」（Maximum Likelihood Estimation，MLE）是频率主义学派根据数据采样来估计概率分布参数的经典方法。令 表示训练集 中第 类样本组成的集合，假设这些样本独立同分布，则参数 对于数据集 的似然为

这个公式表示在参数 下，整个数据集 观测到的概率。极大似然估计的过程就是寻找能最大化似然 的参数 。由于上式的连乘操作易造成下溢，因此实际使用中通常使用「对数似然」（Log-Likelihood）

最大对数似然估计的参数 为

在连续属性情况下，假设概率密度函数符合高斯分布， ，则参数 和 的极大似然估计为

这表明，通过极大似然法得到的正态分布均值就是样本均值，方差就是 的均值。

注意，这种参数化的方法虽然能使得类条件概率估计变得相对简单，但估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布。在现实应用中，若仅凭“猜测”来假设概率分布形式，则很可能产生误导性的结果。此时，往往需要在一定程度上利用关于应用任务本身的经验知识。