Bayes 模型分类与预测

「贝叶斯网络」（Bayesian Network），又被称为贝叶斯「信念网络」（Belief Network）、因果网络，起源于贝叶斯统计分析。贝叶斯网络将因果知识和概率知识相结合的信息表示框架，使得不确定性推理在逻辑上变得清晰，理解性更强。贝叶斯网络将概率论与数理统计和图论相结合，利用图结构描述随机变量之间的依赖关系。贝叶斯最早由 Judea Pearl 于 1986 年提出，并逐渐发展起来，主要用于表示不确定性知识和推理问题。

贝叶斯网络已经成为数据库中知识发现和决策支持系统的有效方法：从大量数据中构造贝叶斯网络模型，从而进行不确定性知识的发现。

如图所示贝叶斯网络包含 6 个节点：

• 参加晚会 (Party, PT)
• 宿醉 (Hangover, HO)
• 患脑瘤 (Headache, HA)
• 头疼 (Brain tumor, BT)
• 有酒精味 (Smell alcohol, SA)
• X 射线检测呈阳性 (Pos Xray, PX)

想想这样一个场景，一个中学生回家后，其父母猜测她参加了晚会，并且喝了酒，第二天这个学生感到头疼，它的父母带她到医院做头部的 X 光检查。经过长期的观察，或者从别人那里了解，这个中学生的父母知道他们的女儿参加晚会的概率。经过长时间的数据积累，他们也知道他们的女儿参加晚会后宿醉的概率。因此，节点 party 和节点 hangover 之间有一条连线。同样，有明显的因果关系或相关关系的节点之间都有一条连线，并且连线从原因节点出发，指向结果节点。

1. 如果父母已知他们的女儿参加了晚会，那么第二天一早，她呼出的气体中有酒精味的概率有多大？也就是说，当 party 发生时，smell alcohol 发生的概率有多大？
2. 如果他们的女儿头疼，那么她换患脑瘤的概率有多大？这时，如果它们又知道昨晚她参加了晚会，那么综合这些情况，她换脑瘤的可能性有多大？
3. 如果父母早晨闻到女儿呼出的气体有酒精味，那么她昨晚参加晚会的概率有多大？

贝叶斯网络借助于有向无环图（Directed Acyclic Graph，DAG）来刻画属性之间的依赖关系，并用「条件概率表」（Conditional Probability Table，CPT）来描述属性的联合分布。

贝叶斯网络 由结构 和参数 两部分组成。

• 结构 是一个有向无环图，其每个节点对应于一个属性，若两个属性有直接依赖关系，则它们由一条边直接连接起来。
• 参数 定量描述这种依赖关系。假设属性 在 中的父节点集为 ，则 包含了每个属性的条件依赖关系表

贝叶斯网络有效地表达了属性间的条件独立性。给定父节点集合，贝叶斯网络假设每个属性与它的非后裔属性独立，于是 将属性 的联合概率分布定义为

贝叶斯网中三个变量的典型关系有「同父结构」，「V 型结构」和「顺序结构」。

• 「同父结构」：给定父节点 的取值，则 与 条件独立
• 「顺序结构」：给定 的取值，则 与 条件独立。
• 「V 型结构」：给定子节点 的取值， 与 必不独立。但是，若 的取值完全未知，则 型结构下 与 却是相互独立的。这样的独立性称为「边际独立性」（Marginal Independence）