根据信源输出的随机变量的取值，可以将信源分为离散信源和连续信源。

如果信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做「连续信源」。比如人发出的语音信号，模拟的电信号等。

如果信源输出的随机变量取值于某一离散符号集合，消息在时间上的幅值均是离散的，就叫做「离散信源」。比如平面图像 和电报、文字、文稿等等

信源的输出是单个消息符号，则称之为「单符号信源」，用一位离散或连续随机变量 及其概率分布 来表述

信源输出的是多个消息符号，则称之为「多符号信源」，用 维随机矢量， 重离散概率空间的数学模型来描述。

如自然语言信源就是把人类的语言作为信源，以汉字为例，就是随机地发出一串汉字序列。我们可以把这样信源输出的消息是为时间上或空间上离散的随机变量序列，即随机矢量。于是，信源的输出可用 维随机矢量来描述， 一般为有限正整数。

值得一提的是，这里的连续离散强调的是「状态」，而并不关心时间上是否连续

自信息量

二维联合集 上的元素 的联合自信息量定义为

式中 为积事件， 为元素 的二维概率分布。特别的，当 和 相互独立时

联合集 中，对事件 和 ，事件 在事件 给定的条件下的条件自信息量定义为

由于每个随机事件的条件概率都处于 0～1 范围内，所以条件自信息量均为非负值。

自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性三者都是随机变量，其值随着变量 ， 的变化而变化。三种自信息量之间有如下关系

自信息量 使之某一信源 发出的某一信息符号

联合集 上，条件自信息量 的概率加权平均值定义为「条件熵」。其定义式为

上式称为联合集 中，集 相对于集 的条件熵。条件熵又可写为

式中取和的范围包括 二维空间中的所有点。这里要注意条件熵用联合概率 进行加权平均，而不是用条件概率 进行加权平均。为什么要使用联合概率而非直观上的条件概率？如果采用条件概率，按熵的定义有

该式表示前面一个消息符号给定时，，信源输出下面一个信息符号的平均不确定性。由于给定不同的 ， 是变动的，是一个随机变量，仍然无法以均值的方式描述其统计特性。故应在此基础上，求 的统计平均值，即

因此，条件熵的定义式为

联合集 上，每对元素的自信息量的概率加权平均值定义为「联合熵」。

根据联合自信息量的定义，联合熵又可定义为

联合熵又可称为「共熵」。

随机变量集 的熵 只是其概率分布 的函数，称为「熵函数」。所以 又可以记为

根据此式，再由概率的完备性，，可知 实际上是 元函数。如二元熵，有

当概率矢量 中个分量的次序任意变更时，熵值不变。该性质说明信源的熵仅与信源总体的统计特性有关。如果统计特性相同，不管其内部结构如何，其信源熵值都相同。

其中等号成立的充要条件是当且仅当对某 , 其余的

即，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其他符号几乎都不可能出现，那么，这个信源是一个确知信源，其信源熵等于零。这种非负性对于离散信源的熵是正确的，但是对于连续信源来说，该性质不存在。

含义：若集合 有 个事件，另一个集合 有 个事件，但 和 集的差别只是多了一个概率接近于零的事件，则两个集的熵值一样。换言之，一个事件的概率与其中其它事件的概率相比很小时，它对集合的熵值的贡献可以忽略不计。

如果有两个随机变量 ，它们不是相互独立的，则二维随机变量 的熵等于 的无条件熵加上当 已给定时 的条件概率定义的熵的统计平均值，即

当二维随机变量 ， 相互统计独立时，则有

其中 是集合 的元素数目。该性质表明，在离散情况下，集合 中的各事件依等概率发生时，熵达到极大值。这个重要结论称为最大熵定理。集合中元素的数目 越多，其熵值就越大

集合 中只要有一个事件为必然事件，则其余事件为不可能事件。此时，集合 中每个事件对熵的贡献都为零，因而熵必为零。

对任意两个消息数相同的信源 有

前置知识——凸函数

由此可得推论

如果集 和集 相互统计独立，则有：

还可以将此性质推广到多个随机变量构成的概率空间之间的关系，设有 个概率空间 ，其联合熵可表示为

若 个随机变量相互独立，则有

证明：

根据概率论的相关公式

同样可以推广到 个

当集合 和 取自同一集合 时，则有

且

该性质可以推广到 个概率空间的情况

条件熵小于信源熵，即

证明：

由极值性

上式

当且仅当 $p(x_i|y_i)=p(x_i)，i=0,1,2,\cdots $，等式成立

设一系统的输入符号集 ，输出符号集 ，输入符号与输出符号的联合分布为

求联合集 上的各种熵

解：