信息论基础及应用 (2010 年度畅销榜NO.20400 )

本教材系统地介绍了香农信息论的基本内容及其应用，涉及了信息的度量、信道容量以及信源和信道编码理论等问题。全书共分九章，内容包括信息的统计度量、离散信源和连续／波形信源的信息熵、离散信道和连续／波形信道的信道容量、平均失真度与信息率失真函数、信源编码和信道编码定理，以及网络通信系统中的信源编码与信道容量问题。
本教材深入浅出、概念清晰、内容丰富、系统性强，有实际应用价值。可作为高等院校与科研院所信息类专业本科生、研究生的教材或教学参考书，亦可供有关科技人员参考使用。

第1章绪论
1.1信息的概念
1.1.1信息、消息及信号的区别与联系
1.1.2香农信息的定义与度量
1.2信息论研究的对象、目的和内容
1.2.1信息论研究的对象
1.2.2信息论研究的目的
1.2.3信息论研究的内容
1.3信息论的形成及发展
第2章离散信源及信息的度量
2.1信源的数学模型及分类
2.1.1信源输出的消息由随机变量描述
2.1.2信源输出的消息由随机矢量描述
2.1.3信源输出的消息由随机过程描述
2.2离散信源的信息量
2.2.1非平均不确定性
2.2.2非平均信息量
2.2.3平均信息量
2.3熵的基本性质
2.4消息序列的熵
2.4.1消息序列信息量的一般表达式
2.4.2离散无记忆的扩展信源
2.4.3离散平稳信源
2.4.4马尔可夫信源
2.5信源的相关性和剩余度
习题
第3章离散信源的无失真编码
3.1编码器
3.2离散无记忆信源的渐近等同分割性
3.3等长码和等长信源编码定理
3.4变长码
3.4.1码的分类和主要编码方法
3.4.2克拉夫特不等式和麦克米伦不等式
3.4.3惟一可译码判断准则
3.5香农第一定理
3.5.1码的平均长度
3.5.2变长无失真信源编码定理
3.6变长码的编码方法
3.6.1香农编码
3.6.2费诺编码
3.6.3霍夫曼编码
3.7离散平稳信源和马尔可夫信源的编码定理*
3.7.1离散平稳信源的编码定理.
3.7.2马尔可夫信源的编码定理
习题
第4章离散信道及信道容量
4.1信道的数学模型和分类
4.1.1信道
4.1.2信道的分类
4.I.3离散信道的数学模型
4.1.4单维离散信道的数学模型
4.2信道传输的平均互信息
4.2.1损失熵和噪声熵
4.2.2平均互信息
4.2.3平均条件互信息
4.3平均互信息的特性
4.4信道容量的概念及其计算方法
4.4.1信道容量的定义
4.4.2简单离散信道的信道容量
4.4.3对称离散信道的信道容量
4.4.4一般离散信道的信道容量
4.4.5离散无记忆信道容量的迭代算法
4.4.6离散无记忆N次扩展信道及其信道容量
4.5串联信道和并联信道的信道容量
4.5.1串联信道及其信道容量
4.5.2并联信道及其信道容量
4.6信源与信道的匹配
习题
第5章有噪信道编码
5.1错误概率和译码规则
5.1.1错误概率的分析
5.1.2两种典型的译码规则
5.1.3费诺不等式
5.2错误概率与编码方法
5.2.1简单重复编码
5.2.2消息符号个数
5.2.3(5.2)线性码
5.2.4汉明距离
5.3联合典型序列与联合渐近等同分割定理
5.4香农第二定理
5.4.1有噪信道编码定理
5.4.2有噪信道编码定理的逆定理
5.4.3错误概率的上界
习题
第6章离散信源的限失真编码
6.1失真测度
6.1.1失真度
6.1.2平均失真度
6.2信息率失真函数
6.2.1D允许信道(试验信道)
6.2.2信息率失真函数的定义
6.2.3信息率失真函数的性质
6.3信息率失真函数的参量表述及其计算
6.3.1利用信源的对称性来计算信息率失真函数
6.3.2信息率失真函数的参量表述
6.4信息率失真函数的迭代计算
6.5香农第三定理
6.5.1限失真信源编码定理
6.5.2限失真信源编码逆定理
6.5.3限失真编码定理的意义
习题
第7章连续信源和波形信源
7.1连续／波形信源的统计特性
7：2连续信源和波形信源的信息度量
7.2.1连续信源的差熵
7.2.2波形信源的差熵
7.2.3三种特殊连续信源的差熵
7.3最大差熵定理
7.3.1峰值功率受限最大差熵定理
7.3.2平均功率受限最大差熵定理
7.4熵速率和熵功率
7.5连续信源熵的变换
7.5.1坐标变换后概率密度函数的变化
7.5.2坐标变换后差熵的变化
7.6连续信源的信息率失真函数
7.6.1连续信源的信息率失真函数定义
7.6.2平方误差失真度下高斯信源的信息率失真函数
习题
第8章连续信道和波形信道
8.1连续／波形信道的分类
8.1.1按噪声统计特性分类
8.1.2按噪声对信号的作用功能分类
8.2连续信道的信息传输率
8.2.1单维连续信道的平均互信息
8.2.2多维连续信道的平均互信息..
8.2.3连续信道平均互信息的特性
8.3连续信道的信道容量
8.3.1单维高斯加性信道
8.3.2单维非高斯加性信道
8.3.3多维无记忆高斯加性连续信道
8.3.4多维有记忆高斯加性连续信道
8.4波形信道的信息传输率和信道容量
8.4.1波形信道的信息传输率
8.4.2高斯白噪声加性波形信道
8.4.3有色高斯加性波形信道
8.5连续信道编码定理
习题
第9章网络信息理论
9.1网络信道的分类
9.1.1多源接入信道
9.1.2广播信道
9.1.3中继信道
9.1.4串扰信道
9.1.5反馈信道
9.2多个随机变量下的联合典型序列
9.3相关信源编码
9.3.1两个相关信源的模型
9.3.2相关信源编码定理
9.4多源接入信道
9.4.1多源接入信道的容量
9.4.2相关信源的多源接入信道
9.4.3高斯多源接入信道
附录Matlab源程序
附录A信息熵
附录B离散无记忆信道容量的迭代计算
附录CShannon编码
附录DFano编码
附录EHuffman编码
附录F信息率失真函数的迭代计算
参考文献

1948年，美国Bell实验室的科学家ClaudeE.Shannon在《贝尔系统技术杂志》发表了一篇题为《通信的数学理论》的长篇论文。它以新颖的科学观念和统计的数学方法系统地阐明了通信系统中信息的基本概念、信息度量的统计方法和编码变换的重要规律，建立了统计的通信理论。Shannon(香农)理论的建立，不仅使通信问题的研究从经验升华为科学，更为重要的是开辟了信息理论发展的新纪元，并对当代其他科学技术的发展产生了难以估量的巨大影响。 信息论已经成为现代信息科学的一个重要组成部分，.它是现代通信和信息技术的理论基础。我国早期研究信息论的知名学者有蔡长年、周炯磐、陈太一等，正是他们的辛勤努力，使得我国信息理论的研究得以蓬勃发展，在信息论的基础理论、编码理论、密码理论、信息安全理论、信息理论发展新方向等重要方面取得了显著的成果。 自香农提出信息理论以来，信息论就成为国内外大学电子工程、通信工程、信息工程、计算机和数学等专业为研究生和高年级本科生开设的一门基础理论课。现在，我们很高兴看到，许多年轻的学者正在信息理论领域辛勤耕耘，他们结合自己的理解、自己的研究方向和研究成果，用自己辛勤的劳动推出了一系列的研究成果，为期盼进入信息理论殿堂探胜寻宝的人们提供了途径。 《信息论基础及应用》一书的出版发行，就是这方面一个比较突出、比较典型的成果。 《信息论基础及应用》一书比较全面、系统地介绍了香农信息论的基本内容及其应用，即信息的度量、信道容量以及信源和信道编码理论等问题。其主要优点有： (1)概念清晰。信息论涉及概率论、随机过程、数理统计等数学问题，许多概念湮没在数学推导中，而该书注重基本概念、基本理论的阐述，深入浅出，使读者能很快掌握其要领。 (2)全书注重基本方法的分析，数学结构简明、完整，结合实例给出详尽的数学推导过程和谭明方法。 (3)内容编排上由浅入深、循序渐进，使读者带着问题学，具有启发性，以最易接受的方式介绍了信息论的基本内容及其应用。 (4)全书阐述严谨，符号统一，各章配有适量的难易程度不等的习题，可根据实际需要选用。 (5)书后的附录为读者提供了求解信息度量、信道容量、信息率失真函数的Matlab源程序，可使读者进一步加深对这些基本概念及其计算方法的理解。 参与本书编写工作的同志都曾经是我的学生，从他们上学学习信息论开始，就孜孜以求，刻苦努力。工作后，一直从事信息理论这一领域的教学、科研工作。通过他们自己的辛勤努力，编写了《信息论基础及应用》一书，相信将对高等院校的信息理论教学有所裨益。 时代在不断前进，信息科学技术在飞速发展，更富有挑战性和创造性的研究还在前头。这里，我热切地希望，我国学者，特别是我国的年轻学者在信息理论研究中不断辛勤耕耘，创造更辉煌的成就，为信息理论的进一步发展做出无愧于时代的新贡献。

信息论是整个信息科学发展的起源和基石，它是一门利用概率论、随机过程和数理统计等数学方法来研究信息在存储、度量、编码、传输、处理中一般规律的重要学科。自从香农1948年发表奠定信息论理论基础的《通信的数学理论》一文以来，信息科学有了很大的发展并已经延伸到众多领域中。人们已经认识到，在现代科学技术高度发展的过程中，学习和掌握信息理论已日益成为人们的一种需要。 本书系统地介绍了香农信息论的基本内容及其应用，即信息的度量、信道容量以及信源和信道编码理论等问题。全书共分九章，其中第1章主要介绍了信息的概念，信息论研究的对象、目的和内容，信息论的形成及发展。第2章详细地介绍了各类离散信源的信息度量、信源熵及其性质。第3章主要介绍了离散信源输出信息的有效表示问题，即离散信源的无失真编码问题，主要包括离散无记忆信源的等长和变长编码定理，离散平稳信源和马尔可夫信源的编码定理以及典型的变长码的编码方法。第4章主要介绍了信道的数学模型和分类、信道传输的平均互信息、信道容量的概念及其各种计算方法。第5章主要介绍了有噪信道的编码问题，包括译码规则、编码方法等对信息在信道传输的影响以及在有噪信道中实现信息可靠传输的有噪信道编码定理。第6章主要介绍了信息率失真理论的基本内容，侧重讨论离散无记忆信源，包括信源的失真测度，信息率失真函数及其计算、限失真信源编码定理。第7章主要介绍了连续信源和波形信源的统计特性及其信息度量、连续信源的信息率失真函数。第8章主要介绍了连续信道和波形信道的信息传输率、信道容量，连续信道编码定理。第9章主要介绍了网络信息理论的一些基本结论，包括网络信道的分类、相关信源编码和多源接入信道等，但是这些内容只适合以电路交换为基础的网络通信系统，不适合以分组交换为基础的网络通信系统。通过这九章内容的介绍，希望能为读者提供比较全面、系统的信息论知识。 全书注重基本概念、基本理论和基本分析方法的阐述，力求物理概念清晰，数学结构简明、完整，结合实例给出详尽的数学推导过程和证明。在内容编排上力求由浅入深、循序渐进，以最易接受的方式介绍信息论的基本内容及其应用。本书可作为有关专业本科生和研究生的教材，书中标有“，”号的章节，属于加宽加深的内容，针对不同的授课对象，可适当取舍，有选择地讲授基本内容或复杂的数学证明。为了提高分析和解决问题的能力，除第1章和第9章外，其余各章均配有适量的难易程度不等的习题，可根据实际需要选用。 本书主要由曲炜教授、朱诗兵副教授、庞茂来副教授编写。在本书的编写过程中，得到了李迎春副教授、何忠龙副教授及其他多位老师的指导帮助，蒋太杰、陈刚、李颖、李睿、庞海生、赵东杰、徐珍妮、王明娟等多名博士、硕士研究生参与了文字校对、程序编写与调试等工作，在此一并表示诚挚的感谢。 感谢我国信息科学界知名学者汪漱玉、傅祖芸、朱雪龙、周荫清老师，编者之所以能编写此书，得益于聆听他们的课堂讲授和对他们著作的学习。 由于编者水平有限，书中难免还存在一些缺点和错误，殷切希望广大读者批评指正。 编 者