信息论基础：信源编码与信道编码核心考点梳理

信息论是通信工程的理论基础，也是通信原理课程中的重要组成部分。信源编码和信道编码是信息论应用的两个核心方向。信源编码通过去除冗余信息来压缩数据量，提高传输效率;信道编码通过增加冗余信息来提高传输可靠性。理解这两种编码的理论基础和实现方法，是掌握数字通信系统设计逻辑的关键。本文系统梳理信源编码与信道编码的核心考点。

一、信息论的基本概念

信息量是信息论的基础概念。信息量与事件发生的概率有关，事件发生的概率越小，其信息量越大。信息量反映了一个事件发生后所带来的不确定性的减少量。

信息熵是信源信息量的统计平均值，反映了信源的平均不确定性。熵值越大，信源提供的信息量越大。熵是信源编码的理论下限，信源编码的平均码长不能小于熵值。

互信息量描述了一个随机变量包含的关于另一个随机变量的信息量。互信息量是通信系统传输效率的理论界限。

二、信源编码的理论基础

信源编码的核心问题是：在保证一定失真或不失真的条件下，用尽可能少的比特数来表示信源输出。

无失真信源编码要求编码后的信息能够完全恢复原始信源，没有信息损失。定长编码和变长编码是两类无失真编码方法。定长编码的编码效率较低，变长编码可以根据符号出现概率分配不同长度的码字。

有失真信源编码允许在一定的失真范围内进行压缩，以换取更高的压缩比。率失真函数描述了在允许的失真条件下，编码所需的最小比特率。

三、常见信源编码方法

脉冲编码调制(PCM)是模拟信号数字化的经典方法，包括抽样、量化和编码三个步骤，广泛应用于语音数字化。

预测编码利用信号的相关性进行压缩，差分脉冲编码调制(DPCM)和增量调制(DM)是预测编码的两种形式。

变换编码将信号从时域变换到频域或变换域，在变换域进行量化和编码，实现数据压缩。图像和视频压缩中广泛使用的JPEG、MPEG标准均基于变换编码和量化技术。

四、信道编码的基本原理

信道编码通过增加冗余信息来提高传输可靠性。编码增益是信道编码带来的性能改善，合理的信道编码方案可以获得显著的编码增益。

分组码将信息序列分组，每组信息位添加监督位，构成码字。线性分组码、循环码、汉明码等都属于分组码。

卷积码将信息序列与编码器的冲激响应进行卷积，得到的码字不仅与当前信息位有关，还与之前的信息位有关。

五、信道编码的典型应用

LDPC码和Polar码是5G中采用的信道编码方案。LDPC码用于数据信道，Polar码用于控制信道。LDPC码和Polar码都具有接近香农限的性能，是信道编码领域的代表性成果。

信源编码与信道编码是数字通信系统的重要组成部分。如果对信源编码与信道编码的学习还需要进一步了解，欢迎咨询启航考研。