设离散信源

经信道传输后的输出序列为

用一个非负的函数 表示信源发出符号 ，接收端收到的符号为 的失真度的定量描述。称此函数为「失真函数」。失真函数的具体数值和函数关系是人为定义的，是根据需要选取的对于失真度的定量描述。将所有的 排列起来，用矩阵表示为

称此矩阵为「失真矩阵」。假定离散矢量信源 长符号矢量序列为

其中第 个符号 的取值为 ，经过离散无记忆信道 传输后，接受端收到的 长符号矢量序列为

其中第 个符号 的取值为 ，失真函数定义为

或

矢量失真函数矩阵共有 个元素

由于 和 都是随机变量，所以失真函数 也是随机变量，称失真函数的数学期望为「平均失真」，记为

平均失真 是对给定信源分布 在给定转移概率分布为 的信道中传输时的失真的总体量度。若信道输出和经过信道传输到接收短的 长符号序列为

其中第 个位置上的符号取值分别为

则平均失真度为

其中 是第 个位置上符号的平均失真。如果矢量信源是离散无记忆 次扩展信源，且矢量信道是离散无记忆 次扩展信道，则每个位置上符号的平均失真 相等，且等于矢量平均失真

若预先规定的限定失真度为 ，则称信源压缩后的平均失真度 不大于 的准则为保真度准则，即保真度准则满足 。将满足保真度准则的所有信道称为「失真度 许可信道」，也称 允许的试验信道，记为

对于离散无记忆信道，相应有

在 允许信道 中可以寻找一个信道 ，使给定的信源经过此信道传输时，其信道传输率 达到最小，定义为「信息率失真函数」 ，也称为率失真函数，即

注意， 并不是在函数表达式中出现，而是在定义域中出现。对于离散无记忆信道，率失真函数可写成

其中

• 是信源符号概率分布，
• 是转移概率分布，
• 是接收端收到符号概率分布，

信息率失真函数的意义：对于给定的信源，在满足保真度准则 的前提下，信息率失真函数 是信息率允许压缩到的最小值

由于平均失真度 是失真函数 的数学期望，且 ，所以平均失真度 是非负的，即 ，故其下界

当 ，表示信源不允许任何失真存在。当信源要求无失真地传输，则信息传输率至少等于信源输出的信息量，即信息熵，即

能否达到下限零，与单个符号的失真函数有关。 的求法应该是这样：对于每一个 找对应的 ，使 最小。再对信源求概率平均，即数学期望，即

显然，当失真矩阵每一行都有零元素时，可达到零。当失真矩阵每一行都没有零元素时，可用坐标变换使其每一行都有零元素。故一般可认为

是在约束条件下 的最小值，所以 ，是非负函数，其最小值应为零。取满足 的所有 中的最小的，定义为 定义域中的上限 ，即 是满足 的所有平均失真度 中的最小值。因此可以下结论：

的定义域为

那么应该如何求出 呢？令 是使 的全体转移概率集合，所以

由于 的充要条件是 与 统计独立，即对于所有的 和 ，满足

所以有

由于信源概率分布 和失真函数 已经给定，因此求 相当于寻找 使上式右端最小。如果选取 最小时的分布 ，而对其它的 选取 ，则有

是关于 的下凸函数。

假定 和 时两个失真度， 和 是满足保真度准则 和 前提下使得 达到极小的信道，即

令

可以证明 是满足保真度准则 的信道，进一步可以证明

这表明 是 的下凸函数

在区间 上是严格递减函数。

是 的连续函数，由 的定义可知 是连续函数。若 ，则满足保真度 和 的试验信道集合 和 有 ，在一个较大范围内求极小值一定不大于在其中一个小范围内求极小值，即

有 ， 显然是非增函数。可以证明上述不等式中的等号不成立，所以 是严格递减函数

由上面的性质，我们可以得到离散信源率失真函数 的一般曲线。当限定失真度 时，率失真函数 时信息压缩所允许的最低限度。若信息率压缩至 ，则失真度 必大于