例 设有二元信道的信源编码器，其信源概率空间为

二元信道是常用信道，它的信道基本符号集为 。若将信源 通过一个二元信道传输，就必须把信源符号 变换成由 符号组成的码符号序列，即进行信源编码。可用不同的码符号序列，即二元序列 使其与信源符号 一一对应，这样可以有多种二元码，如下表所列

根据码长，可分为两类：

• 「定长码」：码中所有码字的长度都相同，如上例中的码 1
• 「变长码」：码字长短不一，即码符号个数不同，如上例中的码 2

若一种码中的所有码字都互不相同，则称此分组码为「非奇异码」，否则称为「奇异码」。非奇异码只是正确译码的必要条件，因为当码字排在一起时还有可能出现奇异性。

表中， 是奇异码， 是非奇异码。但传送分组码 时，在信道输出端接收到 时，并不能确定发送端的消息时 还是

设信源符号 映射为一个固定的码字 。则码

＝（，，）

映射为

＝（，，）

的码称为原码的「 次扩展」。换而言之，输入端输入 个符号，经过编码后的结果就是此信源的 次扩展。一个码若对于任意有限的整数 ，其 阶扩展码均为非奇异的，则称之为「唯一可译码」。

定长码中每个码字长度相等，所以只要定长码是非奇异码，则必为唯一可译码。对一个简单信源 进行定长编码，信源 存在唯一可译定长码的条件是：

其中， 是信源 的符号个数， 是信道输出端基本码符号数， 是定长码的码长。

对 次扩展信源 进行定长编码，若要编得的定长码是唯一可译码，则必须满足

两边取以 为底的对数，有

注意，上面两边是编码前后，等概分布时的信息量。对于前者，我们不能保证，而后者，可以通过恰当的编码方式使其取最大。或写成

其中 为平均码长

设离散无记忆信源

的熵为 ，其 次扩展信源为

码符号集 对 次扩展信源 进行长度为 的定长编码，对于 ，只要满足

则当 足够大时，必可使译码差错小于 。反之，若

则当 足够大时，译码错误概率趋于

由弱大数定理知：只要 足够大，趋近于 ；当有 限长时，在所有 个 长的信源序列中，必有一些 的自信息的均值与 之差小于 ；而另一些 的自信息的均值与 之差大于 。

故，扩展序列可分为两个互补的子集： 典型序列和非典型 序列

• ：信源 次扩展后，每个信源符号对应的码符号数；
• ：信源扩展次数；
• ：扩展后信源符号对应的平均码符号数；
• ： 长的码符号序列所能携带的最大信息量
• ：扩展前信源的熵；

定长信源编码定理的意义：

信源经过定长编码后，所能携带的最大信息量，一定要大于信源所携带的平均信息量

一般情况下，信源符号并非等概率分布，而且相互关联，故信源极限熵 将大大小于 。

这时在定长编码中每个信源符号平均所需的二元码符号大大减少，从而提高了编码效率；

例如，以英文电报为例，资料显示，英文电报信源的极限熵 符号，即 ；平均每个英文信源符号只需近似用 个二元符号来编码，这比由式 计算的需要 位二元符号减少了许多，从而提高了信息传输速率。

编码后平均每个信源符号能载荷的最大信息量称为「编码信息率」。若对长为 的信源符号序列进行定长编码，每个序列对应的码字长度为 ，则编码信息率可以表示为

其中 是信道输出端基本码符号数， 是在理想情况下，经过某种编码方式，恰能让各个码字等概率分布，此时单个码字所携带的最大信息量。因此上式为 长码字的最大信息量，下式为信源符号序列长度。

平均每个码元载荷的信息量称为「信息传输率」

单位为比特/码符号

信源的每个符号载荷的信息量与编码后每个信源符号能荷载的最大信息量之比称为「编码效率」，即

信源的每个符号载荷的信息量编码后每个信源符号能荷载的最大信息量最小可能码长编码后的实际码长

对于等长编码有

编码效率一定是小于或等于 的数。对同一信源来说，若码的平均码长越短，信息传输率就越高，这时也越接近 。编码效率可以用来衡量各种编码方法在有效性方面的优劣。

定长编码定理中，只有在 足够大的时候，编码效率才能趋近于$ 1。经计算，当允许错误概率 小于 时，信源序列长度 必满足

设离散无记忆信源

采取等长二元编码时，要求编码效率 ，允许错误概率 ，求得：

由

得

在码符号序列长度 不很大的时候，就能达到很高的编码效率。

完全无失真的编码。

变长码要满足唯一可译码的条件，它必须是非奇异码，而且任意有限长 次扩展码也应该是非奇异码。

为了能够即时译码，变长码必须是即时码。

设离散无记忆信源为

其信源熵为

其熵为 ，码符号集 。现对信源 进行编码，总可以找到一种编码方法构成唯一可译码，使信源 中的每个信源符号所需的码字平均长度满足

记 ，则上式化为

当 时，则

或

其中， 为码符号数， 是无记忆 次扩展信源 中每个信源符号 所对应的平均码长。 表示离散无记忆信源 中每个信源符号 所对应的平均码长。称此定理为「变长无失真信源编码定理」，即「香农第一定理」。变长无失真信源编码定理说明，只要平均码长 不小于信源的熵 ，即编码后的码符号序列所能携带的信息量不小于信源本身的信息量，就可以实现唯一可译码。

变长无失真信源编码定理可以推广到平稳遍历的有记忆信源，一般离散信源或马尔可夫信源，有

其中，为有记忆信源的极限熵。定长编码是变长编码的一个特例，定长编码定理也可以统一到香农第一定理。

定义

为「编码效率」。编码效率 一定是小于或等于 1 的数。平均码长越短，越接近它的极限值 ，那么编码效率就越高。定义

为码的「剩余度」

设有一离散无记忆信源

其熵为

比特信源符号

用二元符号 来构造一个即时码

则平均码长为 码符号信源符号，编码效率为

比特码符号

对信源 的二次扩展信源 进行编码。其二次扩展信源 和即时码如下表所列

这个码的平均长度为

二元码符号两信源符号

信源 中每个单个符号的平均码长为

二元码符号信源符号

其编码效率为

得 比特二元码符号。可见编码虽然复杂了一些，但信息传输效率有了较大提高。同样方法可进一步对信源 的三次和四次扩展信源进行编码，并求出其编码效率为

• 比特二元码符号
• 比特二元码符号
• 比特二元码符号
• 比特二元码符号

对于同一信源，要求编码效率都达到 96%，比较：

• 变长码只需要对二次扩展信源（）进行编码
• 而等长码则要求 大于

很明显，用变长码编码时， 不需要很大就可以达到相当高的编码效率，且可实现无失真编码。

将信源发出的 个消息符号按其概率的递减次序依次排列

按下式计算第 个消息的二进制代码组的码长，并向上取整

对于上式而言，若乘 并求和，就可以得到

这是没有进行 次扩展的，若扩展过就是

为了编成唯一可译码，首先计算第 个消息的累加概率

特别的，。将累加概率 （为小数）变成二进制数，去除小数点，并根据码长 ，取小数点后 位数作为第 个消息的代码组。称这种编码方式为「香农编码」