1.5　信息论研究范畴

关于信息论研究的具体内容是一个有争议的问题。数学家认为信息论只是概率论的一个分支，这种看法有一定的理由，因为香农信息论确实为概率论开拓了一个新的分支。某些物理学家认为信息论只是熵的理论，熵的概念确实是香农信息论的基本概念之一，但信息论的全部内容要比熵的概念广泛得多。

归纳起来，信息论研究的主要内容包括以下几方面。

1．通信统计理论的研究

通信统计理论的研究主要是指利用统计数学工具，分析信息和信息传输的统计规律，包括信息的度量、信息速率与熵以及信道传输能力（信道容量）。

2．信源的统计特性

信源的统计特性主要包括文字（如汉字）和字母（如英文）的统计特性、语音的参数分析和统计特性、图片及活动图像（如电视）的统计特性，以及其他信源的统计特性。

3．收信者接收器的研究

收信者接收器的研究内容主要包括人的听觉和视觉器官的特性、人的大脑感受和记忆能力的模拟，且这些问题的研究与生物学、生理学和心理学的研究密切相关。

4．编码理论与技术的研究

编码理论主要包括有效性编码和抗干扰编码。有效性编码，即针对信源的统计特性进行编码，以提高信息传输效率，也称为信源编码；抗干扰编码，即针对信道统计特性进行编码，以提高信息传输的可靠性，也称为信道编码。

5．提高信息传输效率的研究

提高信息传输效率的研究内容主要包括功率的节约、频带的压缩及传输时间的缩短等。

6．抗干扰理论与技术的研究

抗干扰理论与技术的研究内容主要包括各种调制技术的抗干扰性以及理想接收机的实现。

7．噪声中信号检测理论与技术的研究

检测理论主要包括信号检测的最佳准则和信号最佳检测的实现。

由此可见，信息论的研究内容极为广泛，是一门新兴的边缘学科，是当代信息科学的基本和重要的理论基础。信息论的研究范畴可以概括为以下3方面。

1）信息论基础

信息论基础即狭义信息论，主要研究信息的测度、信道容量以及信源和信道编码理论等问题，即为香农基本理论。

2）一般信息论

一般信息论主要研究通信的一般理论，除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论以及信息处理理论等。这些理论以美国科学家维纳为代表，其中有突出贡献的是维纳和苏联科学家科尔莫戈罗夫，主要研究信息传输和处理问题。

虽然维纳和香农等人都是运用概率和统计数学的方法来研究准确或近似地再现消息的问题，目的都是为了使消息传送和接收最优，但他们的研究却有重要的区别：维纳研究的重点是接收端，研究的问题是一个信号（消息）如果在传输过程中被某些因素（如噪声和非线性失真等）所干扰时，接收端怎样把它恢复、再现，并从干扰中提取出来，在此基础上，创立了最佳线性滤波理论（维纳滤波器）、统计检测与估计理论以及噪声理论等；香农研究的对象则是从信源到信宿之间的全过程，是收、发端联合最优的问题，其重点是编码。香农指出，只要在传输前后对消息进行适当的编码，就能保证在干扰存在的条件下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论等。

3）广义信息论

广义信息论不仅包括上述狭义信息论和一般信息论两方面的内容，而且包括所有与信息有关的领域，如心理学、遗传学、神经生理学、语言学、语义学，甚至社会学中有关信息的问题。

综上所述，信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程科学。它的主要目的是提高信息系统的可靠性和有效性，以达到系统的最优；它的主要内容（分支）包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论和随机噪声理论等。

由于信息论研究的内容极为广泛，且各分支又具有一定的独立性，因此，本书仅阐述信息论的基础理论，并介绍这些基础理论的实际应用。