信息论与编码（第二版） (2010 年度畅销榜NO.11970 )

本书系统论述香农信息论的基本理论，介绍编码的基本方法．全书共分九章．内容包括：信息的定义、信息论的基本思路；单符号离散信源与信道、信息熵、互信息、信道容量、数据处理定理、加权熵、效用信息熵；多符号离散信源与信道、极限熵、独立并列信道的信道容量；连续信源与信道、相对熵、高斯白噪声加性信道的信道容量；无失真信源编码定理、霍夫曼编码方法；抗干扰信道编码定理、线性分组码、汉明码与扩展汉明码；限失真信源编码定理、信息率失真函数、数据压缩原理、信息价值、广义信息率失真函数；网络信息理沦等．
本书可作为高等院校、科研院所相关专业的研究生、高年级本科生的教材或教学参考书，也可供从事信息理论、信息技术和信息科学的教学、科研和工程技术人员参考．

第一章 单符号离散信源
第一节 信源的数学模型
第二节 信源符号的自信量
第三节 信源的信息熵
第四节 信息熵的代数性质
第五节 信息熵的解析性质
第六节 信息熵的最大值
第七节 熵函数的公理构成
第八节 加权熵及其数学特性
第九节 加权熵的公理构成
第十节 效用信息熵
习 题
第二章 单符号离散信道
第一节 信道的数学模型
第二节 信道的交互信息量
第三节 条件交互信息量
第四节 平均交互信息量
第五节 平均交互信息量的非负性
第六节 平均交互信息量的极值性
第七节 平均交互信息量的不增性
第八节 平均交互信息量的上凸性
第九节 信道容量及其一般算法
第十节 几种无噪信道的信道容量
第十一节 几种对称信道的信道容量
第十二节 可逆矩阵信道的信道容量
第十三节 信道容量的迭代计算
习 题
第三章 多符号离散信源与信道
第一节 离散平稳信源的数学模型
第二节 离散平稳无记忆信源的信息熵
第三节 离散平稳有记忆信源的信息熵
第四节 离散平稳有记忆信源的极限熵
第五节 马尔柯夫(Markov)信源的极限熵
第六节 信源的剩余度与结构信息
第七节 离散无记忆信道的数学模型
第八节 离散无记忆信道的信道容量
第九节 独立并列信道的信道容量
习 题
第四章 单维连续信源与信道
第一节 相对熵与平均交互信息量
第二节 几种单维连续信源的相对熵
第三节 相对熵的极值性
第四节 相对熵的上凸性
第五节 最大相对熵定理
第六节 信息变差与熵功率
第七节 连续熵的变换
第八节 平均交互信息量的不变性
第九节 数据处理定理
第十节 连续信源的信息测量
第十一节 连续信道的信道容量
第十二节 高斯加性信道的容量
习 题
第五章 多维连续信源与信道
第一节 随机过程的离散化
第二节 多维连续信源的熵
第三节 多维熵的最大值
第四节 多维熵的变换
第五节 多维连续信道的传输特性
第六节 高斯白噪声
第七节 高斯白噪声加性信道的容量
第八节 独立并列信道的最大容量
习 题
第六章 无失真信源编码
第一节 单义可译码
第二节 非延长码及其构成
第三节 单义可译定理
第四节 平均码长与有效性
第五节 平均码长的界限定理
第六节 信源扩展与数据压缩
第七节 无失真信源编码定理
第八节 霍夫曼(Huffman)有效码
习 题
第七章 抗干扰信道编码
第一节译码规则
第二节 译码规则的选择准则
第三节 信道编码的编码原则
第四节 抗干扰信道编码定理
第五节 分组码及其检纠能力
第六节 线性分组码的代数结构
第七节 线性分组码及其生成矩阵
第八节 一致校验矩阵与伴随式
第九节 标准阵列与译码表
第十节 检纠能力与一致校验矩阵的关系
第十一节完备码
第十二节 汉明码与扩展汉明码
第八章 限失真信源编码
第一节 平均交互信息量的下凸性
第二节 平均失真度
第三节 信息率失真函数R(D)与数据压缩
第四节 及(D)函数的数学特性
第五节 离散信源的R(D)函数
第六节 离散信源及(D)函数的参量表述
第七节 二元离散信源R(D)函数的参量计算
第八节 正向与反向试验信道的转换
第九节 R(D)函数的迭代计算
第十节 高斯连续信源的R(D)函数
第十一节 连续信源R(D)函数的参量表述
第十二节 高斯连续信源R(D)函数的参量计算
第十三节 正向与反向高斯加性试验信道的转换
第十四节 限失真信源编码定理
第十五节 及(D)函数与信息价值
第十六节 广义信息率失真函数
习题
第九章 网络信息理论
第一节 双输入单输出信道的信道容量
第二节 离散二址接人信道的容量界限
第三节 高斯加性二址接人信道的容量界限
第四节 单输入双输出信道的信道容量
第五节 高斯链式接续信道的容量界限
第六节 相关信源的边信息与公信息
习 题
附 录 《供熵函数计算用的几种函数表》
参考文献

随着科学技术，特别是信息技术的发展，信息理论在通信领域中发挥越来越重要的作用，显示出解决通信领域中有关问题的有力工具的本色．同时，由于信息理论解决问题的思路和方法的独特、新颖和有效，在当今信息时代，信息理论已渗透到其它相关的自然科学，甚至社会科学领域，与电子技术、自动控制、计算机网络以及管理科学、生物医学工程、遗传工程、人工智能、心理学等学科密切结合，显示出它的勃勃生机和不可估量的发展前景．信息论是信息科学中最成熟、最完整、最系统的重要组成部分，它是信息科学的发展起源与基石． 本书以香农(ClaudeE．shannon)信息论为基础，论述近代信息理论的基本概念和主要结论． 作者鉴于20余年的教学经验，为了便于读者正确认识通信领域中信息的定义和本质，理解信息论解决问题的思路和方法，在“引言”中归纳、提炼出香农信息论的三大理论支柱．为了便于读者建立信息流通的完整系统概念，把信息论的基础理论部分由传统的“信源一条线”、“信道一条线”的“纵向结构”，改变成由“单符号离散通信系统”(第一章、第二章)、“多符号离散通信系统”(第三章)、“单维连续通信系统”(第四章)、“多维连续通信系统”(第五章)等四个“横向教学板块”组成的“横向结构”，由简单到复杂、由浅人深、循序渐进地安排教学内容．信息论是一门具有严密的数学演绎系统和高度抽象性、概括性的科学理论．为了帮助读者排除学习信息论过程中经常遇到的数学分析方面的困难，结合有关内容，系统而简明地介绍必要的数学基础知识，给出导致重要结论的数学推演过程，提供不同的证明方法和途径．为了帮助读者正确理解有关结论的物理含意，提供通俗易懂、富有哲理的诠释． 本书按照理论联系实际的原则，在全面系统地论述信息论的基础理论的基础上，进而严密论证了“无失真信源编码定理”、“抗干扰信道编码定理”、“限失真信源编码定理”等信息论中的三大定理，介绍“霍夫曼(HuHman)码”、“线性分组码”等无失真信源编码、抗干扰信道编码的实际编码方法，阐明信息率失真理论在限失真信源编码、实施“数据压缩”方面的应用．使读者既能看到实现有效而可靠的通信系统的光明前景，又能掌握某些实现通信系统“最优化”的实际编码方法． 本书对如何构建“加权熵”、“效用信息熵”；如何运用信息率失真理论定义“信息价值”；如何凝炼“信息率失真函数”的数学精髓，构建“广义信息率失真函数”，估算通信系统的有关指标界限等问题，进行了探索性的讨论．以“多用户信道”的容量界限为重点，对网络信息传输的有关特性，作了初步探讨，给读者提供探究当今正在蓬勃兴起的互联网通信理论的初步基础知识． 本书既适用于信息论初学者，也有助于已具信息论初步知识的读者在更高层次上对信息理论的研究和应用．它可作为高等院校、科研院所的研究生、高年级本科生的教材或教学参考书，也可供从事信息理论、信息技术和信息科学的教学、科研以及工程技术人员参考． 作者在撰写本书过程中，得到中国科学院电子学研究所陈宗骘教授、中国科学院研究生院钱玉美教授的热情指导和帮助，在此一并表示衷心感谢． 热忱希望广大读者对书中的错误和不当之处予以批评指正． 姜 丹 2000年11月于北京