第一章 绪论
第二章 离散信源及信息测度
第三章 离散信道及其信道容量
第四章 连续信源和波形信道
第五章 无失真信源编码定理
第六章 有噪信道编码
第七章 限失真信源编码
第八章 无失真信源编码
第九章 纠错编码
第四章 连续信源和波形信道
4.1 连续信源
连续信源的微分熵
H(X)==-\int_a^b p(x)\log p(x)dx-\lim\limits_{\Delta\to0}\log\Delta
其中-\int_a^b p(x)\log p(x)dx称为微分熵h(X)，\lim\limits_{\Delta\to0}\log\Delta为无限大常数项。
-
两个随机变量的联合熵：
h(XY)=-\iint\limits_{R^2}p(xy)\log p(xy)dxdy
条件熵：
\begin{gathered} h(Y|X)\text{=}-\int\limits_{R^2}p(xy)\log p(y|x)dxdy \\ h(X|Y)=-\int\limits_{R^2}p(xy)\log p(x|y)dxdy \end{gathered}
相互关系：
\begin{aligned} &h(XY)=h(Y|X)+h(X)=h(X|Y)+h(Y) \\ &\textit{h}(Y|X)\leq\textit{h}(Y) \\ &\textit{h}(X|Y)\leq\textit{h}(X) \end{aligned}
-
高斯分布（正态分布）的微分熵：
h(X)=\frac 12\ln 2\pi e\sigma^2
高斯分布的微分熵只与方差有关。
连续信源的最大熵
-
在输出幅度受限的情况下，服从均匀分布的随机变量具有最大熵。
h(X)=\log(b-a)
-
对于平均功率受限的连续随机变量，当服从高斯分布时具有最大熵。
h(X)=\frac12\log2\pi eP
4.2 连续信道及信道容量
连续随机变量的互信息
连续随机变量X与Y的平均互信息定义为：
I(X;Y)=\iint\limits_{R^2}p(xy)\text{log}\frac{p(xy)}{p(x)p(y)}dxdy
有以下性质：
-
对称性：
I(X;Y)=I(Y;X)
-
非负性：
I(X;Y)\ge 0
加性噪声信道的信道容量
-
连续信道的信道容量：
C=\max\limits_{p(x)}I(X;Y)=\max\limits_{p(x)}\big\{h(Y)-h(Y| X)\big\}
-
一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。
加性噪声信道的信道容量：
C=\max\limits_{p(x)}I(X;Y)=\max\limits_{p(x)}\big\{h(Y)-h(N)\big\}=\max\limits_{p(x)}h(Y)-h(N)
- 上式说明：加性连续信道的信道容量取决于噪声、（即信道）的统计特性和输入随机变量X所受的限制条件。对于不同的限制条件，连续随机变量具有不同的最大熵值。只讨论平均功率受限下的高斯白噪声信道的信道容量。
C=\frac12\log(1+\frac{P_X}{P_N})
多维高斯加性信道的信道容量：
C=\frac{n}{2}\log(1+\frac{P_X}{P_N})=\frac{n}{2}\log(1+\frac{\sigma_X^2}{\sigma_N^2})
- 当且仅当输入随机矢量X中各分量统计独立，并且均为高斯分布时达到信道容量。
4.3 波形信道及信道容量
- 高斯白噪声加性波形信道时经常假设的通信信道；
- 波形信道根据抽样定理可以转化成多维连续信道来进行分析。
设某信道的频带限于(0,B)，则其输出、输出信号和噪声都是限频的随机过程，频带限于(0,B)。
-
单位时间的信道容量为：
C_t=B\log(1+\frac{\sigma_X^2}{\sigma_N^2})=B\log(1+\frac{\sigma_X^2}{N_0B})
其中N_0为高斯白噪声的单边功率谱密度。
香农公式
C=B\log(1+\frac{\sigma_X^2}{N_0B})
-
信道容量与信号功率的关系
当信号功率增加时，信道容量也增加，但当信号功率无限增加时，信道容量增加的速度在减小。
-
信道容量和带宽的关系
当带宽增加时，信道容量也增加，但当带宽无限增大时，信道容量与带宽无关。
-
带宽与信噪比的互换关系
在信道容量不变的条件下，信噪比和带宽可互换：如果系统带宽较小，那么可以通过增加信噪比来提高容量，例如窄带通信系统；如果系统带宽很大，那么降低信噪比，也能保证需要的容量，比如扩频通信系统。
-
频谱利用率和功率利用率——是评估一个通信系统性能的最重要的两个指标。
- 频谱利用率：表明每单位带宽的容量，单位为bps/Hz。此值越大，说明系统的频率利用率越大，它表明了一个系统在单位带宽上传输信息的效率。例如，在相同条件下，多进制调制比二进制调制具有更高的频谱利用率。
- 功率利用率：在给定误比特率条件下能量信噪比E_b/N_0。此值越小，说明系统的功率利用率越高，它表明了一个系统利用所发送信号功率的能力。例如，在二进制数字载波调制系统中， BPSK的功率利用率要高于BFSK和BASK。(E_b为每比特能量)
- 上述两个指标相互矛盾，即高的功率利用率导致低的频谱利用率，反之也成立。因此，在设计通信系统时，要对这两个指标进行权衡考虑。
- 香农限指的是在一定信道内的理论最大传输速率，也就是说，当信号传输速率达到香农限时，就不能再找到零误码率的编码方法了。
习题
判断对错：
- 连续信源的最大熵只与方差有关。
- 高斯分布的微分熵与均值有关。
- 香农公式中的信道带宽B是指信道能够通过的最高频率和最低频率之差。
- 带宽增大可以提高信道容量。
- 香农公式中的信噪比S/N是以分贝为单位的。
- 频谱利用率越大，表示系统在单位带宽上传输信息的效率越低。
- 香农公式可以计算任意信道的容量。
- 比特传输率达到香农限时，传输速率达到最大值。
- 香农限指的是在一定信道内的理论最大传输速率。
- 信道容量的计算只与噪声有关，与信号特性无关。
-
答案
1-错、2-错、3-对、4-对、5-错、6-错、7-错、8-对、9-对、10-错。
评论区