信息论与编码 (2010 年度畅销榜NO.2882 )

本书系统论述香农信息论。主要介绍信息的定义、信息论的起源、发展及研究内容；香农信息论的三个基本概念，即信源熵、信道容量和信息率失真函数，以及与这三个概念相对应的三个编码定理；信源编码和信道编码的基本方法等内容。为了便于教学和读者自学，每章后面都附有习题。
本书不追求高深的数学理论，尽可能以通俗、生动的语言强化物理概念的描述，特别适合于初学者，已掌握工科高等数学和工程数学的读者都能读懂本书。
本书可作为高等院校、科研院所信息科学与信息技术相关专业的高年级本科生、低年级研究生的教材或教学参考书，也可供从事信息科学和信息技术的科研和工程技术人员参考。

第1章 概论
1.1 信息的一般概念
1.2 信息的分类
1.3 信息论的起源、发展及研究内容
第2章信源熵
2.1 单符号离散信源
2.1.1 单符号离散信源的数学模型
2.1.2 自信息和信源熵
2.1.3 信源熵的基本性质和定理
2.1.4 加权熵的概念及基本性质
2.1.5 平均互信息量
2.1.6 各种熵之间的关系
2.2 多符号离散平稳信源
2.2.1 序列信息的熵
2.2.2 离散平稳信源的数学模型
2.2.3 离散平稳信源的信源熵和极限性
2.2.4 马尔可夫信源
2.2.5 信源冗余度及信息变差
2.3 连续信源
2.3.1 连续信源的熵
2.3.2 几种特殊连续信源的熵
2.3.3 连续熵的性质及最大连续性定理
2.3.4 熵功率
2.4 离散无失真信源编码定理
习题
第3章 信道容量
3.1 信道的数学模型和分类
3.2 单符号离散信道的信道容量
3.2.1 信道容量的定义
3.2.2 几种特殊离散信道的信道容量
3.2.3 离散信道容量的一般计算方法
3.3 多符号离散信道
3.3.1 多符号离散信道的数学模型
3.3.2 离散无记忆信道和独立并联信道的信道容量
3.4多用户信道
3.4.1 多址接人信道
3.4.2 广播信道
3.4.3 相关信源的多用户信道问题
3.5 连续信道
3.6信道编码定理
习题
第4章 信息率失真函数
4.1 基本概念
4。1.1 失真函数与平均失真度
4.1.2 信息率失真函数的定义
4.1.3 信息率失真函数的性质
4.2 离散信源的信息率失真函数
4.2.1 离散信源信息率失真函数的参量表达式
4.2.2 二元及等概率离散信源的信息率失真函数
4.3 连续信源的信息率失真函数
4.3.1 连续信源信息率失真函数的参量表达式
4.3.2 高斯信源的信息率失真函数
4.3.3 信息率失真函数与信息价值
4.3.4 信道容量与信息率失真函数的比较
4.4 保真度准则下的信源编码定理
习题
第5章 信源编码
5.1 香农编码
5.2 费诺编码
5.3 哈夫曼编码
5.4 游程编码
5.5 冗余位编码
习题
第6章 信道编码
6.1 信道编码的概念
6.1.1 信道编码的作用与分类
6.1.2 编码信道
6.1.3 检错与纠错原理
6.1.4 检错与纠错方式和能力
6.2 线性分组码
6.2。1 线性分组码的描述
6.2.2 线性分组码的译码
6.2.3 码例与码的重构
6.3 循环码
6.3.1 循环码的多项式描述
6.3.2 循环码的生成矩阵
6.3.3 系统循环码
6.3.4 多项式运算电路
6.3.5 循环码的编码电路
6.3.6 循环码的伴随多项式与检错
6.3.7 BCH码与RS码
6.4 卷积码
6.4.1 卷积码的矩阵描述
6.4.2 卷积码的多项式描述
6.4.3 卷积码的状态转移图与栅格描述
6.4.4 维特比(Viterbi译码算法
习题
参考文献

1948年，美国科学家香农(Shannon)发表了一篇题为“通信的数学理论”的学术论文，这篇划时代论文的问世，宣告了信息论的诞生。从信息的度量开始，信息的概念在不断扩大和深化并迅速地渗透到其他相关学科领域，如无线电技术、自动控制、人工智能、神经网络、信号处理、网络技术、计算机技术、生命科学、材料科学、心理学、密码学、质量管理、市场营销、信息经济、美学等等。信息论的研究领域从自然科学扩展到经济、管理科学甚至人文社会科学，从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。 进入21世纪，国际社会迅速向信息化方向迈进，通信技术、计算机技术、网络技术、微电子技术等信息技术的发展十分迅猛，而信息论作为信息科学和技术的基本理论，犹如信息科学大厦的地基，在信息社会中起着非常重要的作用。 信息论是信息科学中最成熟、最完整、最系统的一部分，以活跃、新颖的思路和高效解决问题的方法而显示出独特的魅力。它与其他学科的交叉和融合，促进了许多新学科的生长，展示出勃勃生机和巨大的发展前景。 信息论不仅在方法论的层面上解决通信的有效性和可靠性问题，而且在认识论的层面上帮助认识事物的本质。学完信息论之后，再重新审视一下周围的事物，会有许多新的看法和认识。用信息论可以宏观地认识某些政治问题，也可以定量地解决某些经济问题，还可以分析、解释外语学习中存在的问题总之，信息论是高层次信息技术人才必不可少的基础知识。 然而，作者在多年的教学中发现，由于信息论牵涉到众多学科，需要广泛的数学基础，许多学生虽然认识到信息论的重要性，但在繁杂的公式面前只好望而却步。针对这种情况，作者在《信息工程理论基础》和《信息理论与编码》两本讲义的基础上，根据多年的教学经验，改编成本书。把信息论涉及的数学知识限制在工科高等数学和工程数学的范畴内，并尽量以通俗形象的语言描述定义、性质和结论的物理概念，使读者读得懂，愿意学，有兴趣学。 本书主要介绍香农信息论。包括信息论的三个基本概念、与之相应的三个编码定理以及信源和信道编码。 全书共分六章，遵照由浅人深、循序渐进的教学规律，系统地组织教学内容。第一章：概论，介绍信息的基本概念和定义、信息论的起源、发展和研究内容；第二章：信源熵，介绍熵的概念、性质、定理，信源冗余度的定义以及离散无失真信源编码定理等；第三章：信道容量，介绍信道容量的定义、计算和信道编码定理；第四章：信息率失真函数，介绍信息率失真函数的概念、计算、应用以及保真度准则下的信源编码定理；第五章：信源编码，介绍五种典型而常见的信源编码方法；第六章：信道编码，介绍了信道编码的基本概念以及三类常见的信道编码。其中第一、三、四章由陈运编写，第二章由陈运和陈新联合编写，第五章由陈新编写，第六章由周亮编写。 由于编写匆忙，书中错误和不当之处在所难免，热忱希望广大读者予以批评指正。