第一章 绪论
第二章 离散信源及信息测度
第三章 离散信道及其信道容量
第四章 连续信源和波形信道
第五章 无失真信源编码定理
第六章 有噪信道编码
第七章 限失真信源编码
第八章 无失真信源编码
第九章 纠错编码

第七章 限失真信源编码

7.1 基本概念

• 失真产生的原因：
  1. 当信息传输率超过信道容量时，必然产生差错；
  2. 信道噪声的干扰使得信息传输过程会产生差错；
  3. 信源熵是信源无失真压缩的极限，若再继续压缩则会带来失真。
• 本章研究内容：在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，即最少需要多少比特才能表述信源。

7.2 失真测度

失真度

设实验信道的输入概率空间为：

\begin{bmatrix}X\\ P\end{bmatrix}=\begin{bmatrix}x_1&x_2&\cdots&x_n\\ p(x_1)&p(x_2)&\cdots&p(x_n)\end{bmatrix}

输出概率空间为：

\begin{bmatrix}Y\\ P\end{bmatrix}=\begin{bmatrix}y_1&y_2&\cdots&y_m\\ p(y_1)&p(y_2)&\cdots&p(y_m)\end{bmatrix}

• 失真度（失真函数）：d(x_i,y_j)，描述发送符号和接受符号之间的差异。

• 失真矩阵：

  D=\begin{bmatrix}d(x_1,y_1)&d(x_1,y_2)&\cdots&d(x_1,y_m)\\ d(x_2,y_1)&d(x_2,y_2)&\cdots&d(x_2,y_m)\\ \vdots&\vdots&&\vdots\\ d(x_n,y_1)&d(x_n,y_2)&\cdots&d(x_m, y_m)\end{bmatrix}

• 常用的失真函数：

  1. 汉明失真：

     \begin{aligned} \\ d(x_i,y_j) =\left\{\begin{matrix}0&&x_i=y_j\\ 1&&x_i\neq y_j\end{matrix}\right. \end{aligned}

  2. 平方误差失真函数：

     d(x_i,y_j)=(x_i-y_j)^2

  失真函数是根据人们的实标需要和失真引起的损失、风险大小等人为规定的。

平均失真

• 平均失真：

  \begin{gathered} \overline{D}=E\Big[d(x_i,y_j)\Big]=\sum_{i=1}^n\sum_{j=1}^m p(x_i y_j)d(x_i,y_j) \\ =\sum_{i=1}^n\sum_{j=1}^m p(x_i)p(y_j|x_i)d(x_i,y_j) \end{gathered}

• 平均失真是对给定信源p(x)在给定转移概率分布为p(x_i|y_j)的信道中传输时的失真的总体量度。

7.3 信息率失真函数

保真度准则

• 保真度准则：若预先规定的平均失真度为D,则称信源压缩后的平均失真度\overline D不大于D的准则为保真度准测。

• D允许的试验信道：将满足保真度准则的所有信道称为失真度D允许信道（也称D允许的试验信道），记为：

  B_D=\left\{p\big(y_j\mid x_i\big)\colon\overline{D}\leq D\right\}

信息率失真函数

在满足失真要求的信道中，寻找一种信道，使给定的信源经过此信道传输时，其信息传输率I(X;Y)达到最小，定义这个最小值为信息率失真函数：

R\bigl(D\bigr)=\min\limits_{P\bigl(y_j|x_i\bigr)\in B_D}I(X;Y)

• 性质：

  1. R(D)时关于D的下凸函数；
  2. R(D)在定义域内严格递减。

• 意义：

  率失真函数是在信源固定，满足保真度准则的条件下的信息传输率的最小值。反映了满足一定失真度的条件下信源可以压缩的程度，也就是满足失真要求而再现信源消息所必须获得的最少平均信息量。

7.4 限失真信源编码定理

限失真信源编码定理（香农第三定理）

设离散无记忆平稳信源的信息率失真函数为R(D)，只要满足R>R(D)，当信源序列长度足够大时，一定存在一种编码方法，其译码失真小于或等于D+\varepsilon，其中\varepsilon时任意小的正数。

反过来，若R<R(D)，则无论采用什么样的编码方法，其译码失真必大于D。

• 香农信息论的三个基本概念信源熵、信道容量和信息率失真函数，都是临界值，是从理论上衡量通信能否满足要求的重要界限。

习题

判断对错：

1. 信道容量是限制信息传输率的最大值。
2. 失真度描述了发送符号和接收符号之间的差异。
3. 平均失真是失真函数的期望值。
4. 信息率失真函数是在满足失真要求的信道中的最小传输信息率。
5. 保真度准则是预先规定的平均失真度。
6. 信息率失真函数是关于失真度的下凸函数。
7. 信息传输率的最小值可以满足失真要求并再现信源消息所必须获得的最少平均信息量。
8. 限失真信源编码定理也被称为香农第三定理。

• 答案

  1-对、2-对、3-对、4-对、5-错、6-对、7-对、8-对