第一章 绪论
第二章 离散信源及信息测度
第三章 离散信道及其信道容量
第四章 连续信源和波形信道
第五章 无失真信源编码定理
第六章 有噪信道编码
第七章 限失真信源编码
第八章 无失真信源编码
第九章 纠错编码
第一章 绪论
1.1 什么是信息？
《通信的数学理论》 -香农
- 对信息做出了科学的定义，并进行了定量和定性的描述。
- 信息是对事务运动状态或存在方式的不确定性描述。
- 通信过程是一种消除不确定性的过程。
- 当信息被接受到时，不确定性就被消除。
样本空间、概率空间
-
我们把某事物各种可能出现的不同状态，即所有可能选择的消息的集合，称为样本空间。
-
每个可能选择的消息是这个样本空间的一个元素。对于离散消息的集合，概率测度就是对每一个可能选择的消息执法与一个概率（非负、总和为1）。一个样本空间和它的概率测度称为一个概率空间。用[X,P]来表示。在离散情况下，概率空间为：
\begin{bmatrix}X\\ P(x)\end{bmatrix}=\begin{bmatrix}a_1,&a_2,&\cdots,&a_q\\ P(a_1),&P(a_2),&\cdots,&P(a_q)\end{bmatrix}
其中P(a_i)就是选择符号a_i作为消息的概率，称为先验概率。
自信息
先验概率P(a_i)的倒数取对数函数称为该消息（符号）a_i的自信息。
I(a_i)=\log\frac{1}{P(a_i)}
互信息
由于信道中存在干扰，假设接收端收到的消息（符号）为b_j，这个b_j可能与a_i相同，也有可能与a_i有差异。我们把条件概率P(a_i|b_j)称为后验概率，它是收到消息b_j后，而发送端受到a_i的概率。守信者在收到b_j后，已经消除的不确定性为：先验的不确定性减去尚存在的不确定性。这就是收信者获得的信息量，定义为互信息:
I(a_i;b_j)=\log\frac{1}{P(a_i)}-\log\frac{1}{P(a_i\mid b_j)}
1.2 通信系统模型
为了便于研究信息的传输和共同处理的规律，我们将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型，我们通常称它为通信系统模型：
信息源（信源）
信源是消息和消息序列的源，它是事物各种运动状态或存在状态的集合。信源输出的是消息，消息是具体的，但它不是信息本身。消息携带着信息，消息是信息的表达者。
-
信源的分类：
按输出消息中符号的取值的时间和幅值：离散信源和连续信源；
按信源输出符号间的关系：有记忆信源和无记忆信源；
信源符号序列各维联合概率分布是否随时间变化：平稳信源和非平稳信源。
编码器
- 功能：将消息变成适合信道传输的物理量。
- 编码器包括：
- 信源编码器：提高通信系统的有效性；
- 信道编码器：提高信息传输的可靠性；
- 调制器：提高传输效率。
信道
- 定义：将承载消息的信号从发送端送到接收端的媒介或通道，具有传播信号和储存信号的作用。
- 分类：
- 狭义信道：电缆、无线电波、光盘等。
- 广义信道：其他传输媒介。
- 无噪信道、有噪信道：噪声的统计特性是划分信道的依据。
译码器
- 功能：从接受到的信号中恢复消息；
- 译码器包括：
- 解调器
- 信道译码器
- 信源译码器
信宿
- 信宿是消息传送的对象（人或机器）。
- 香农的信息论不研究信宿。
1.3 信息论的研究内容
研究内容
- 信源：
- 什么是信息？如何度量信息？
- 信源的输出中含有多少信息？
- 编码器：
- 无失真信源编码
- 限失真信源编码
- 有噪信道编码
- 信道：
- 传输信息的最高速率（信道容量）
研究目的
找到信息传输过程中的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，实现信息传输系统的最优化。
1.4 信息论的形成和发展
- 当时通信理论与技术已有较大的发展，存在的通信技术包括：电报(Morse,1844)电话(Bel,1876)、调幅广播(1900’s早期)、单边带调制(Carson, 1922)、电视(1925-1927)、调频广播(Armstrong, 1936)、脉冲编码调制(Reeves,1937- 1939)、声码器(Dudley,1939)、扩频通信(1940’s)等
- 随着工程技术的发展，理论的研究在逐渐加深。
- 1948年，香农在贝尔系统技术杂志上发表了两篇文章——《通信的数学理论》
- 理论的数学完善：费诺不等式，香农信道编码逆定理的证明，恶劣信道容量的迭代算法。
- 编码理论发展。
- 香农信息理论（狭义信息论）的发展：网络信息理论、保密理论-密码学理论。
- 广义信息论的发展。
1.5 预备知识
习题
判断对错：
- 信息是对事务运动状态或存在方式的精确描述。
- 当信息被接受到时，不确定性就被消除。
- 信源编码器的功能是提高信息传输的可靠性。
- 承载消息的信号从发送端送到接收端的媒介或通道称为编码器。
- 信源输出的是具体的消息，不是信息本身。
- 离散信源按输出消息中符号的取值的时间和幅值分类。
- 信道是将承载消息的信号从发送端送到接收端的媒介或通道。
- 香农信道编码逆定理的证明是随着工程技术的发展而出现的。
- 先验概率的倒数取对数函数称为该消息的互信息。
- 线性代数和概率论对于信息论的发展是非常重要的。
-
答案
1-错、2-对、3-错、4-错、5-对、6-错、7-对、8-错、9-错、10-对
评论区