第一章 绪论
第二章 离散信源及信息测度
第三章 离散信道及其信道容量
第四章 连续信源和波形信道
第五章 无失真信源编码定理
第六章 有噪信道编码
第七章 限失真信源编码
第八章 无失真信源编码
第九章 纠错编码
第三章 离散信道及其信道容量
3.1 信道的数学模型及分类
信道的分类
按输入/输出信号的幅度和时间特性划分：
| 幅度 | 时间 | 信道分类名称 |
|---|---|---|
| 离散 | 离散 | 离散信道（数字信道） |
| 连续 | 离散 | 连续信道 |
| 连续 | 连续 | 波形信道（模拟信道） |
| 离散 | 连续 | （理论和实用价值都很小） |
按输入/输出之间的记忆性来划分：
- 无记忆信道：信道在某时刻的输出只与信道该时刻的输入有关而与信道其他时刻的输入输出无关。
- 有记忆信道：信道在某时刻的输出与其他时刻的输入、输出有关。
根据信道的输入/输出是否是确定关系可分为：
- 有噪声信道
- 无噪声信道
根据信道的统计特性是否随时间改变可分为：
- 平稳信道（恒参信道、时不变信道，如卫星通信）
- 非平稳信道（随参信道、时变信道，如移动通信）
根据输入/输出的个数可分为：
- 单用户信道：一个输入一个输出单向通信。
- 多用户信道：双向通信或三个或更多个用户之间相互通信的情况，例如多元接入信道、广播信道、网络通信信道。
信道的数学模型
-
一般的多符号离散信道
其中：
\pmb X=X_1X_2...X_N，插入符号集A=\{a_1,a_2,...,a_r\}；
\pmb Y=Y_1Y_2...Y_N，插入符号集B=\{b_1,b_2,...,b_s\}；
p(\pmb y|\pmb x)=p(y_1y_2...y_N|x_1x_2...x_N)
-
离散无记忆信道（DMC）
p(\pmb{y}|\pmb{x})=\prod\limits_{n=1}^N p(y_n|x_n)
-
平稳信道（恒参信道）
p(y_n=b_j|x_n=a_i)=p(y_m=b_j|x_m=a_i)
以离散信道为例，看信道分类：
-
无噪信道：无干扰，X和Y有明确的对应关系。
y_n=f(x_n)\\且p(y_n|x_n)=\begin{cases} 1,&y_n=f(x_n)\\0&y_n\neq f(x_n) \end{cases}
-
有干扰无记忆信道
p(\pmb y|\pmb x)=p(y_1y_2...y_N|x_1x_2...x_N)=\prod\limits^N_{i=1}p(y_i|x_i)
-
有干扰有记忆信道
单符号离散信道的数学模型
其中：
X为一维随机变量，输入符号集A=\{a_1,a_2,...,a_r\}；
Y为一维随机变量，输入符号集B=\{b_1,b_2,...,b_s\}；
-
信道传递概率为：
p(b_j|a_i)=P(y=b_j|X=a_i)
满足条件：
- 0\leq p(b_j|a_i)\leq1~~~~~~(i=1,2,...,r;j=1,2,...,s) ；
- \sum\limits_{j=1}^s p(b_j\mid a_i)=1\quad~~(i=1,2,...,r)
信道矩阵、信道传递概率为：
\pmb P {=}\left[\begin{matrix}{p(b_{1}|a_{1})}&{p(b_{2}|a_{1})}&{\cdots}&{p(b_{s}|a_{1})}\\ {p(b_{1}|a_{2})}&{p(b_{2}|a_{2})}&{\cdots}&{p(b_{s}|a_{2})}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ {p(b_{1}|a_{r})}&{p(b_{2}|a_{r})}&{\cdots}&{p(b_{s}|a_{r})}\\ \end{matrix}\right]=\left[\begin{matrix}{p_{11}}&{p_{12}}&{\cdots}&{p_{1s}}\\ {p_{21}}&{p_{22}}&{\cdots}&{p_{1s}}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}&\\ {p_{r1}}&{p_{r2}}&{\cdots}&{p_{n}} \end{matrix}\right]
一些常用的概率关系
- 先验概率：$\begin{aligned}
&p(a_{i})=p(X=a_{i})\quad i=1,\cdots,r \end{aligned}$ 2. 联合概率：
$$
\\begin{aligned}
p(a_{i}b_{j})& =p(X=a_i,Y=b_j) \\\\
&=p(a_i)p(b_j|a_i)=p(b_j)p(a_i|b_j)
\\end{aligned}
$$
-
前项概率（信道传递概率）
p(b_j\mid a_i)=p(Y=b_j\mid X=a_i)
-
后验概率：
p(a_i|b_j)=p(X=a_i|Y=b_j)
-
输出符号概率：
\begin{aligned} p (b_j)&=p(Y=b_j)\quad j=1,\cdots,s \\ &=\sum\limits_{i=1}^r p(a_i b_j)=\sum\limits_{i=1}^r p(a_i)p(b_j|a_i) \end{aligned}
信道疑义度
信道疑义度表示接收端收到信道输出的符号之后对信道输入符号仍然存在的平均不确定性。
- 理想信道：H(X|Y)=0；
- 一般情况下：H(X|Y)<H(X)；
- 当H(X|Y)=H(X)时，表示接收到输出变量Y后关于输入变量X的平均不确定性一点也没有减少。
噪声熵
在加性噪声信道中，条件熵H (Y|X)完全等于噪声的熵，所以被称为噪声熵。
3.2 平均互信息及平均条件互信息
互信息的定义
对离散随机事件集X,Y，互信息I(x_i;y_j)为事件y_j所给出关于事件x_i的信息。
I(x_i;y_j)=I(x_i)-I(x_i|y_j)=\log\frac{p(x_i|y_j)}{p(x_i)}
互信息有两方面含义：
- 表示事件y_j出现前后关于事件x_i的不确定性减少的量；
- 事件y_j出现以后信宿获得的关于事件x_i的信息量。
观察者不同视角下互信息的含义：
-
观察者站在输出端：
I(x_i;y_j)=I(x_i)-I(x_i|y_j)
- I(x_i)：对y_j一无所知的情况下x_i存在的不确定度。
- I(x_i|y_j)：收到y_j后x_i仍然存在的不确定度。
- 互信息：收到y_j前和收到y_j后不确定度被消除的部分。
-
观察者站在输入端：
I(x_i;y_j)=I(y_j)-I(y_j|x_i)
- I(y_j)：发出x_i之前，y_j的不确定度；
- I(y_j|x_i)：发出x_i之后，y_j仍然存在的不确定度；
- 互信息：输入端发出x_i前后，对输出端出现的不确定度的差。
-
观察者站在通信系统的总体立场上：
-
通信前：X和Y之间没有任何关系，即X、Y统计独立，p(x_iy_j)=p(x_i)p(y_j)，先验不确定度为：
I`(x_iy_j)=\log\frac 1{p(x_i)p(y_j)}
-
通信后：p(x_iy_j)=p(x_i)p(y_j|x_i)=p(y_j)p(x_i|y_j)，为后验不确定度：
I``(x_iy_j)=\log\frac{1}{p(x_iy_j)}
-
互信息等于通信前后不确定度的差值：
\begin{aligned} I(x_{i};y_{j})& =\text{log}\frac{p(x_i\mid y_j)}{p(x_i)}=\text{log}\frac{p(x_iy_j)}{p(x_i)p(y_j)} \\ &\begin{aligned}&=\text{log}\frac{1}{p(x_i)p(y_j)}-\text{log}\frac{1}{p(x_iy_j)}\\ &=I'(x_iy_j)-I\text{"}(x_iy_j) \\ &=I(x_i)+I(y_j)-I(x_i y_j) \end{aligned} \end{aligned}
-
-
互信息的意义：
- 同一个物理量，因观察的角度不同，有三种表达形式。
- ”互信息”的引用，是信息传输进入了定量分析，是信息论发展的一个重要里程碑。
互信息的性质
-
互易性：
I(x_i;y_j)=I(y_j;x_i)
-
互信息可以为0:
当事件x_i和y_j相互独立，互信息为0，即：
I(x_i;y_j)=0
表面x_i和y_j不存在统计约束关系，从y_j得不到关于x_i的任何信息。
-
互信息可正可负。
-
任何两个事件之间的互信息不可能大于其中任意事件的自信息：
\begin{gathered} I(x_i;y_j)=\log\frac{p(x_i\mid y_j)}{p(x_i)}\leq\log\frac{1}{p(x_i)}=I(x_i) \\ I(y_j;x_i)=\log\frac{p(y_j\mid x_i)}{p(y_j)}\leq\log\frac{1}{p(y_j)}=I(y_j) \end{gathered}
条件互信息
-
在联合集XYZ中，在给定事件y_j的条件下，x_i与z_k之间的互信息定义为条件互信息：
I(x_i;z_k|y_j)=\log\frac{p(x_i|y_jz_k)}{p(x_i|y_j)}
-
在联合集XYZ中，x_i与y_jz_k的互信息量：
I(x_i;y_jz_k)=\log\frac{p(x_i|y_jz_k)}{p(x_i)}=I(x_i;y_j)+I(x_i;z_k|y_j)
这说明联合事件y_jz_k发生后所提供的有关x_i的信息量I(x_i;y_jz_k)，等于y_j发生后提供的有关x_i的信息量I(x_i;y_j)加上给定y_j条件下再出现z_k后所提供的有关x_i的信息量I(x_i;z_k|y_j)。
平均互信息
平均互信息是互信息I(x_i;y_j)在联合概率空间P(XY)中的统计平均值，被定义为随机变量X和随机变量Y之间的平均互信息。
\begin{aligned} I(X;Y)&=E\Big[I(x_i;y_j)\Big]=\sum_{i=1}^n\sum_{j=1}^m p(x_i y_j)I(x_i;y_j) \\ &=\sum_{i=1}^n\sum_{j=1}^m p(x_i y_j)\text{log}\frac{p(x_i|y_j)}{p(x_i)}\\&=H(X)-H(X|Y)\\&=H(Y)-H(Y|X) \end{aligned}
维拉图
3.3 平均互信息的性质
非负性
I(X;Y)\ge0
对称性
I(X;Y)=I(Y;X)
极值性
\begin{gathered} I(X;Y) \leq H(X) \\ I(X;Y) \leq H(Y) \end{gathered}
凸函数性
平均互信息量I(X;Y)是输入信源概率分布p(x)的上凸函数，是信道转移概率分布p(y|x)的下凸函数。
平均联合互信息
平均联合互信息I(X;YZ)是联合互信息I(x_i;y_jz_k)在概率空间XYZ中的统计平均值：
\begin{aligned} I\big(X;YZ\big)&=E[I(x_i;y_jz_k)] \\ &=\sum_{X}\sum_{Y}\sum_{Z}p\bigl(x_{i}y_{j}z_{k}\bigr)\log\frac{p\bigl(x_{i}|y_{j}z_{k}\bigr)}{p\bigl(x_{i}\bigr)} \\ &=H(X)-H(X|YZ) \end{aligned}
平均条件互信息
平均条件互信息I(X;Z|Y)是条件互信息I(x_i;z_k|y_j)在概率空间XYZ中的统计平均值：
\begin{aligned} I\big(X;Z|Y\big)&=E\bigg[I\big(x_i;z_k|y_j\big)\bigg] \\ &=\sum_X\sum_Y\sum_Z p\big(x_i y_j z_k\big)\text{log}\frac{p\big(x_i|y_j z_k\big)}{p\big(x_i|y_j\big)}\\ &=H(X|Y)-H(X|YZ) \end{aligned}
3.4 信道容量
信道容量定义
-
信息传输率R：信道中平均每个符号所传送的信息量。
R=I(X;Y)
假设平均传输一个符号需要t秒，则信道每秒钟平均传输的信息量为信息传输速率R_t：
R_t=\frac 1tI(X;Y)
在信道确定的情况下，R=I(X;Y)是信源概率分布P(X)的上凸函数。因此，必然存在一种信源概率分布使信息传输率R=I(X;Y)最大。定义这个最大的信息传输率为信道容量：
C=\max\limits_{P(X)}\{I(X;Y)\}
输入的相应分布被称为最佳输入分布。
- 信道容量
- 与信源的概率分布无关；
- 是完全描述信道特性的参量；
- 是某一个确定的信道能够传输的最大信息量。
针对不同信道的分析：
-
有噪无损信道：一个输入对应多个互不相交的输出。
H(X|Y)=0,H(Y|X)>0（损失熵为0，噪声熵大于0）。
-
无噪有损信道：多个输入对应一个输出。
H(X|Y)>0,H(Y|X)=0（损失熵大于0，噪声熵为0）。
-
无噪无损信道：输入输出一一对应。
H(X|Y)=0,H(Y|X)=0（损失熵为0，噪声熵也为0）。
离散对称信道
-
离散输入对称信道（行对称信道）：每一行都是第一行元素的不同组合。例如：
\mathbf{P}=\begin{bmatrix}\frac{1}{3}&\frac{1}{3}&\frac{1}{6}&\frac{1}{6}\\ \\\frac{1}{6}&\frac{1}{3}&\frac{1}{6}&\frac{1}{3}\end{bmatrix}
-
离散输出对称信道（列对称信道）：每一列都是第一列元素的不同组合，例如：
\mathbf{P}=\begin{bmatrix}0.4&0.6\\ 0.6&0.4\\ 0.5&0.5\end{bmatrix}
-
对称信道：每一行都是第一行的排列，每一列都是第一列的排列。
$$ \begin{aligned} \mathbf{P} =\left[\begin{matrix}{\frac{1}{2}}&{\frac{1}{3}}&{\frac{1}{6}}\ {\frac{1}{6}}&{\frac{1}{2}}&{\frac{1}{3}}\ {\frac{1}{3}}&{\frac{1}{6}}&{\frac{1}{6}}\ \end{matrix}\right] \
\end{aligned} $$
-
准对称信道：信道矩阵可以按列分位一些对称的子阵，即对输出集Y的划分。(子集只有一个时为对称信道)
\mathbf{P}=\begin{bmatrix}0.8&0.1&0.1\\ 0.1&0.1&0.8\\ \end{bmatrix}
-
引理：对于对称信道，当信道输出概率分布为等概分布时，输出概率分布必为等概分布（列对称信道也成立）。
-
定理1：对称信道当信道输出概率为等概分布时，达到信道容量：
C=\log s-H(p_1',p'_2,...,p_s')
其中p_1',p_2',...,p'_s是信道矩阵中的任意一行中的元素。
即对于对称信道来说，最佳输入概率分布为等概分布。
-
定理2：实现离散准对称无记忆信道信道容量的最佳输入分布为等概率分布。
一般离散信道的信道容量计算法：拉格朗日数乘法（不考）。
3.5 离散无记忆信道
N次扩展信道
N次扩展信道的数学模型为：
X_1,X_2,...,X_N都取值于同一个符号集A=\{a_1,a_2,...,a_r\}；
Y_1,Y_2,...,Y_N都取值于同一个符号集B=\{b_1,b_2,...,b_s\}；
\begin{gathered} \alpha_{k} =(a_{_{k_1}},a_{_{k_2}},\cdots,a_{_{k_N}}) ~~k=1,\cdots, r^N \\ \beta_n =(b_{h_1},b_{h_2},\cdots,b_{h_N}) ~~h=1,\cdots,s^{N} \end{gathered}N次扩展信道的信道矩阵为：
\mathbf{\Pi}=\begin{bmatrix}p(\beta_1|\alpha_1)&p(\beta_2|\alpha_1)&\cdots&p(\beta_{s^N}|\alpha_1)\\ p(\beta_1|\alpha_2)&p(\beta_2|\alpha_{2})&\cdots&p(\beta_{s^N}|\alpha_2)\\ \vdots&\vdots&\ddots&\vdots\\ p(\beta_1|\alpha_{r^N})&p(\beta_2|\alpha_{r^N})&\cdots&p(\beta_{s^N}|\alpha_{r^N})\end{bmatrix}=\begin{bmatrix}\pi_{11}&\pi_{12}&\cdots&\pi_{1_{s^N}}\\ \pi_{21}&\pi_{22}&\cdots&\pi_{2_{s^N}}\\ \vdots&\vdots&\ddots&\vdots\\ \pi_{r^N_1}&\pi_{r^N_2}&\cdots&\pi_{r^Ns^N}\end{bmatrix}
其中：\pi_{kh}\ge0,~\sum\limits^{s^N}_{h=1}\pi_{kh}=1。
对于离散无记忆信道，
\pi_{ii}=p(\beta_h\mid\alpha_k)=p(b_{h_1}b_{h_2}\ldots b_{h_N}\mid a_{k_1}a_{k_2}\ldots a_{k_N})=\prod_{i=1}^N p(b_{h_i}\mid a_{k_i})
N次扩展信道平均互信息的定理
-
定理1:若信道的输入和输出分别是N长序列\mathbf X和\mathbf Y，且信道是无记忆的，则：
I(\mathbf X;\mathbf Y)\le\sum\limits^N_{k=1}I(X_k;Y_k)
-
定理2:若信道的输入和输出分别是N长序列\mathbf X和\mathbf Y，且信源是无记忆的，则：
I(\mathbf X;\mathbf Y)\ge\sum\limits^N_{k=1}I(X_k;Y_k)
3.6 独立并联信道
特点：每个信道的输出仅与本信道的输入有关。当信道矩阵相同，且输入变量独立时，则：
C_{P^N}=NC_P
独立并联信道的信道容量：
C_i=\max\limits_{p(x_i)}\{I(X_i;Y_i)\}
3.7 串联信道
- 待发送的消息比较多时，可能要用两个或两个以上的信道并行的传送，这种信道称为并联信道（积信道）。
- 又是消息会依次的通过几个信道传送，如无线中继信道，称为级联信道。
- 有时将两个以上信道联合起来，称为和信道：任意单位时间可随机地选用信道1或信道2的一个（两者不能同时选用）。选用信道1的概率为p_1，选用信道2的概率为p_2，p_1+p_2=1。
级联信道：
级联信道的平均互信息
I(XY;Z)：表示收到Z后，从Z中获得关于联合随机变量XY的平均信息量。
定理1：\begin{gathered} I(XY;Z) \geq I(Y;Z) \\ I(XY;Z) \geq I(X;Z) \end{gathered}
当随机变量XYZ构成马尔可夫链的时候，等号成立。
定理2：当随机变量X,Y,Z构成一个马尔可夫链的时候，\begin{gathered} I(X\text{;}Z) \leq I(X;Y) \\ I(X\text{;}Z) \leq I(Y;Z) \end{gathered}。
- 满足数据传输定理：信息不增性定理。
- 信道熵传输的总信息量必然小于等于两个自信道鸽子传输的信息量。
3.8 信源和信道匹配
- 信道冗余度=C-I(X;Y)；
- 相对剩余度=\frac{C-I(X;Y)}{C}；
- 无损信道的相对冗余度=1-\frac{H(X)}{\log r}
习题
判断对错：
- 有记忆信道可以根据输入输出是否有确定关系分为两类。
- 平稳信道是一种信号传递特性随时间改变的信道。
- 单用户信道是指只有一个用户在使用的信道。
- 信道矩阵和信道传递概率不是描述信道特性的参数。
- 互信息是指两个随机变量之间共享信息的量。
- 噪声熵对称信道来说总是为0。
- 如果两个事件之间的互信息大于其中任意事件的自信息，则它们是完全独立的。
- 在信源概率分布为等概分布的情况下，所有信道的输出概率分布都是等概分布。
- 判断信道是否对称只需要看信道中是否存在输出相等的输入。
- 信道矩阵中，行代表的是输入，列代表的是输出。
- 随参信道是一种统计特性随时间改变的信道。
- 先验概率是指在已经得知测试结果的情况下，我们对测试前的可能情况的估计。
- 互信息可以用于衡量两个随机变量之间的相关性。
- 当信道熵为0时，噪声熵也为0。
- 信道矩阵可以用来描述信道的输入输出关系，但不能描述信道的统计特性。
- 在联合集XYZ中，互信息I(X,Y)大于0，说明变量X和Y之间存在相关性。
- 有噪声信道的输入输出具有确定的关系。
- 信道矩阵中，每一个元素表示在某个输入下产生某个输出的概率。
- 平稳信道只存在于卫星通信中。
- 随参信道适用于常规通信中大多数信道的特性。
- 在信道传输中，噪声会使得输出信号和输入信号不完全相等。
- 在联合集XY中，通过X的信息无法推断出Y的信息，则称X和Y相互独立。
- 互信息是一种非负测度，它总是非负数。
- 在信道传输中，平稳信道的信号传输特性不会随时间改变。
- 信道的噪声熵越大，信号传输的质量越好。
- 先验概率是指在已知一些背景信息后，对某个事件发生概率的估计。
- 在随参信道中，信号传输特性会随时间和传输系统的状态改变而发生变化。
- 当信道传输的噪声熵为0时，信道的输入输出是不存在确定关系的。
- 信道矩阵中，每一行的元素之和等于1。
- 先验概率是指事件发生后的概率。
- 联合概率表示两个或多个事件同时发生的概率。
- 前项概率是指在给定输入信号的情况下，输出信号出现的概率。
- 后验概率是指在接收到输入信号的情况下，输出信号出现的概率。
- 信道疑义度表示接收端对信道输入符号的平均不确定性。
- 互信息表示事件yj发生前后关于事件xi的不确定性减少量。
- 对于观察者站在输入端的角度，条件互信息表示发送事件xi后，事件yj仍然存在的不确定度。
- 在通信系统的总体立场上，互信息等于通信前和通信后不确定度的差值。
- 互信息可以为负数，代表事件yj的出现减少了关于事件xi的不确定性。
- 平均互信息是随机变量X和随机变量Y之间的互信息的统计平均值。
- 平均互信息具有凸函数性质。
平均联合互信息是在概率空间中的统计平均值。平均条件互信息是在概率空间中的统计平均值。- 信道容量是信道中平均每个符号所传输的信息量。
- 对称信道的每一行都是第一行元素的不同组合。
- 对于对称信道，当信道输出概率分布为等概分布时，输出概率分布必为非等概分布。
- 离散对称信道最佳输入概率分布为等概分布。
- 离散准对称无记忆信道的信道容量的最佳输入分布为等概率分布。
- 对于N次扩展信道，X和Y的取值都在同一个符号集中。
- 二元对称信道的二次扩展信道矩阵是一个2x2的矩阵。
- 连续信道容量可以通过信道矩阵来计算。
- 独立并联信道的输出只依赖于当前信道的输入。
- 串联信道可以同时使用多个信道进行数据传输。
- 级联信道的平均互信息始终小于或等于信道的互信息。
当信道输入和输出构成马尔可夫链时，级联信道的平均互信息等于Y和Z的互信息。- 信道熵传输的总信息量一定大于等于两个自信道传输的信息量之和。
- 信道冗余度等于信道容量减去输入和输出的互信息。
- 无损信道的相对冗余度永远等于1。
-
答案
1-对、2-错、3-对、4-错、5-对、6-错、7-错、8-对、9-错、10-对、11-对、12-错、13-对、14-错、15-错、16-对、17-错、18-对、19-错、20-错、21-对、22-对、23-对、24-对、25-错、26-对、27-对、28-错、29-对、30-错、31-对、32-对、33-错、34-对、35-对、36-对、37-对、38-对、39-对、40-对、41-对、42-对、43-错、44-对、45-错、46-对、47-对、48-对、49-错、50-错、51-对、52-错、53-对、54-对、55-错、56-对、57-错
-
答案
-
答案
设有一离散无记忆信源，概率空间为：
\begin{bmatrix}X\\P(X)\end{bmatrix}=\begin{bmatrix}x_1&x_2\\0.6&0.4\end{bmatrix}
它们通过一干扰信道，信道输出端的接受符号集为Y=[y_1,y_2]，信道传递概率如图所示。
（1）信源\mathbf X中时间x_1和x_2分别含有的自信息；
（2）收到消息后y_j(j=1,2)，获得的关于x_i(i=1,2)的信息量；
（3）求H(X)和H(Y)；
（4）求该信道的信道疑义度、噪声熵；
（5）求平均互信息I(X;Y)；
（6）使用最大似然译码准则，求译码方式；
（7）求平均错误概率；
-
答案
用维拉图表示H(XYZ)、H(XY)、H(X|Y)、H(X|YZ)、I(X;Y)、I(X;Y|Z)、I(X;YZ)
-
答案
评论区