工程信息论 (2010 年度畅销榜NO.48124 )

本书以信息熵为基本概念，以仙农的三个基本定理为核心，系统地讲述了仙农信息论的基本理论，主要内容包括：离散信息和连续信息的度量，离散信道和连续信道的容量，无失真信源编码定理，有噪信道编码定理，信息率失真函数，有约束信道的容量与编码，空时信道的容量等。
本书注重信息论基本知识的理解和基本运算技能的掌握，并强调理论的实际应用，同时还兼顾到该领域的某些最新进展，可作为电子信息与通信类专业本科生的教材和研究生的参考书，还可供相关专业教学，科研以及工程技术人员参考。

第1章绪论
1.1信息的概念和主要特征
1.1.1概述
1.1.2信息的基本概念和特征
1.1.3信息论的基本内容
1.2通信系统的模型
1.2.1通信系统模型
1.2.2提高通信系统技术指标的措施
1.3仙农信息论所研究的问题
1.3.1仙农信息论所研究的问题
1.3.2仙农信息论的特点
1.4仙农信息论形成与发展
1.4.1技术背景
1.4.2理论背景
1.4.3仙农的主要工作
1.4.4仙农信息论发展
1.4.5信息论的应用
1.5仙农生平简介与研究风格
1.5.1仙农生平简介
1.5.2仙农的学术风格
第2章离散信息的度量
2.1自信息和条件自信息
2.1.1自信息
2.1.2联合自信息
2.1.3条件自信息
2.2信息和条件互信息
2.2.1信息
2.2.2信息的性质
2.2.3条件互信息
2.3离散集合的平均自信息(熵)
2.3.1信息熵
2.3.2条件熵
2.3.3联合熵
2.3.4信息熵与热熵的关系
2.4熵的基本性质
2.4.1凸函数
2.4.2信息散度“
2.4.3熵的基本性质
2.4.4各类熵的关系
2.4.5熵函数的惟一性
2.5离散集的平均互信息
2.5.1集合与事件之间的互信息.
2.5.2平均互信息
2.5.3平均互信息与熵的关系
2.5.4平均互信息的性质
2.5.5平均条件互信息
本章小结
习题
第3章离散信源
3.1信源的分类与数学模型
3.1.1信源的分类
3.1.2信源的数学模型
3.2离散无记.亿信源
3.2.1单符号离散无记忆信源
3.2.2多维离散无记忆信源
3.3离散无记忆信源的扩展源
3.3.1N次扩展源
3.3.2N次扩展信源的熵
3.4无限离散信源
3.4.1无限离散信源的均值和熵
3.5概率分布的信息生成函数
3.6离散平稳信源
3.6.1概述
3.6.2平稳有记忆N次扩展源的熵
3.7马尔可夫信源
3.7.1有限状态马氏链
3.7.2状态转移概率
.3.7.3齐次马氏链
3.7.4KOlmOgOrOv—Chapman方程
3.7.5马氏链状态分类
3.7.6马氏链的平稳分布
3.7.7马尔可夫信源
3.7.8马尔可夫信源熵的计算
3.8信源的剩余度
3.8.1信源的相关性
3.8.2信源剩余度(冗长度)
本章小结
附录定理3.4.2的证明
习题
第4章离散信道及其容量
4.1信道模型及其分类
4.1.1信道模型
4.1.2信道的分类
4.2离散无记忆信道
4.2.1一般信道的数学模型
4.2.2离散无记忆信道
4.2.3平稳(或恒参)信道
4.2.4单符号离散信道
4.2.5离散无记忆扩展信道
4.3扩展信道输入与输出平均互信息
4.4级联信道
4.5离散无记忆信道容量
4.5.1信道容量的定义
4.5.2离散无噪信道的容量
4.5.3信道容量的计算
4.5.4离散对称信道的容量
4.5.5离散无记忆N次扩展信道的容量
4.5.6离散并联信道的容量
4.5.7和信道的容量
4.5.8关于信道容量的注释
4.6信道容量的迭代计算
本章小结
附录定理4.5.1的证明
习题
第5章无失真信源编码
5.1概述’
5.1.1无失真信源编码的分类
5.1.2信源编码器模型
’5.1.3简单信源编码器举例
5.2分组码
5.2.1分组码的性质
5.2.2码树
5.3定长码
5.3.1无失真编码条件
5.3.2信源序列分组定理
5.3.3渐进均分特性
5.3.4定长码信源编码定理
5.4变长码
5.4.1异前置码的性质
5.4.2变长码信源编码定理
5.5最优码
5.5.1二元哈夫曼(HuHman)编码
5.5.2多元哈夫曼编码
5.5.3马氏源的编码
5.6算术编码
5.6.1积累概率
5.6.2算术编码的性能
5.6.3算术编码和译码算法
5.6.4一般马氏源的算术编码
5.6.5算术编码算法实现中的技术问题
5.7L-Z编码
5.7.1L-Z算法简介
5.7.2一种简化的LZW算法
5.8文本树加权编码
5.8.1二元序列概率的估计
5.8.2树信源和文本树
5.8.3文本树力口权编码的实现
5.8.4文本树加权编码的性能评估
本章小结
本章参考文献
习题
第6章有噪信道编码
6.1概述
6.1.1信息传输速率
6.1.2单符号判决规则
6.1.3译码错误概率
6.2常用判决准则
6.2.1最大后验概率准则
6.2.2最大似然准则
6.3费诺(Fano)不等式
6.3.1信道疑义度
6.3.2费诺不等式
6.3.3序列费诺不等式
6.4序列的最佳译码准则
6.4.1汉明距离
6.4.2序列最大似然译码
6.5有噪信道编码定理
6.5.1联合典型序列
6.5.2有噪信道编码定理
6.5.3无失真信源信道编码定理
本章小结
第7章连续信息与连续信源
7.1连续随机变量的互信息
7.1.1连续随机变量的离散化
7.1.2连续随机变量的互信息
7.1.3连续集合平均互信息的性质
7.2连续随机变量集合的熵
7.2.1连续随机变量集合的熵
7.2.2差熵的性质
7.2.3信息散度
7.2.4差熵与平均互信息的关系
7.2.5线性变换下平均互信息的不变性
7.3离散时间高斯信源的熵
7.3.1一维高斯随机变量集合的熵
7.3.2多维独立高斯随机变量集合的熵
7.3.3多维相关高斯随机变量集合的熵
7.3.4复高斯信源的熵
7.4连续最大熵定理
7.4.1限功率最大熵定理
7.4.2限峰值最大熵定理
7.5连续时间波形的正交展开
7.6连续时间信源的熵
7.6.1限带高斯白噪声信源的熵
7.6.2限带高斯信源的熵
7.6.3熵功率
7.7最大熵原理与最大熵谱估计
7.7.1最大熵原理
7.7.2最大熵谱估计
7.8离散集合与连续集合之间的互信息
7.8.1离散事件x与连续事件》之间的互信息
7.8.2离散集合X与连续集合y的平均互信息
本章小结
本章参考文献
附录复矢量到实矢量的变换及其性质
习题
第8章波形信道
8.1离散时间连续信道
8.1.1加性噪声信道
8.1.2加性高斯噪声信道
8.1.3容量代价函数
8.1.4离散时间信道的容量
8.1.5一般加性噪声信道容量界
8.1.6并联加性高斯噪声信道
8.2数字基带波形的正交展开
8.3AWGN信道的容量
8.3.1加性高斯噪声信道
8.3.2波形信道的互信息与容量
8.3.3AWGN信道的容量
8.3.4高斯噪声信道编码定理
8.3.5功率利用率和频谱利用率的关系
8.4有色高斯噪声信道
8.5数字调制系统的信道容量
8.5.1PAM调制系统的信道容量
8.5.2二维数字调制的信道容量
8.5.3BPSK调制的信道容量
8.6复高斯信道容量
8.7接近信道容量界的编码
8.7.1Turbo码
8.7.2LDPC码
本章小结
本章参考文献
习题
第9章信息率失真函数
9.1概述
9.1.1系统模型
9.1.2失真测度
9.2信息率失真函数
9.2.1信息率失真函数
9.2.2R(D)的性质
9.3限失真编码定理
9.3.1编码速率的压缩
9.3.2限失真信源编码定理
9.3.3限失真信源信道编码定理
9.4离散信源信息率失真函数的计算
9.4.1R(D)参量表示法求解
9.4.2方程的解法
9.4.3参量s的意义
9.5连续信源信息率失真函数
9.5.1信息率失真函数与性质
9.5.2R(D)函数的计算
9.5.3差值失真测度
9.6高斯信源的R(D)函数
9.6.1离散时间无记忆高斯信源
9.6.2独立并联高斯信源
9.6.3有记忆高斯信源
9.6.4时间连续高斯信源
9.6.5限带高斯信源
9.?一般连续信源R(D)函数
9.8有损数据压缩
9.8.1量化
9.8.2最佳速率分配
9.8.3预狈0编码
9.8.4子带编码
9.8.5变换编码
本章小结
附录1关于Pe的计算
附录2定理9.7.1的证明
本章参考文献
习题
第10章有约束信道及其编码
10.1标号图及性质
10.1.1标号图的基本概念
10.1.2标号图的变换
10.2有约束信道的容量
10.2.1有约束信道容量的定义
10.2.2等时长符号有约束信道的容量
10.2.3不等时长无约束信道的容量
10.2.4不等时长有约束信道的容量
10.2.5马氏源的最大熵
10.3有约束序列的性质
10.3.1信道的约束
10.3.2游程长度受限序列(RLL)
10.3.3部分响应最大似然(PRML)序列
10.3.4直流平衡序列
10.3.5其他频域受限序列
10.4有约束信道编码定理
10.4.1有约束信道编码定理
10.4.2编码器的描述
10.4.3近似特征矢量
10.4.4——致状态分裂
10.4.5有限状态编码定理
10.5有约束系统的编码
10.5.1编码器性能指标
10.5.2块编码器..
10.5.3确定性编码器
10.5.4有限类型编码器
10.5.5直流平衡序列编码系统
10.5.6滑动块译码器
10.6有约束序列编码实例
10.6.1(d.k)块码编码系统
10.6.2实用的直流平衡序列
10.6.3无直流游程受限序列
10.6.4有约束序列在家用电子产品中的应用
本章小结
附录定理10.2.2的证明
本章参考文献
第11章空时信道的容量与空时码
11.1空时无线系统
11.2衰落多径信道的统计模型
11.2.1多径信道描述参数
11.2.2频率非选择性信道
11.2.3频率选择性信道
11.2.4衰落信号分量的统计模型
11.3确定性MIMO信道的容量
11.3.1MIMO信道模型
11.3.2发射机未知CSI的容量
11.3.3发射机已知CSI的容量
11.3.4SIMO系统的容量
11.3.5MISO系统的容量
11.4衰落MIMO信道的容量
11.4.1容量的定义
11.4.2容量的计算
11.4.3影D向信道容量的因素
11.5空时接收机
11.5.1CSI对发射机和接收机均已知情况
11.5.2信道状态仅对接收机已知的情况
11.6空时信道的编码
11.6.1空时编码器
11.6.2空时块码
11.6.3空时格码
11.6.4空间复用编码
11.6.5可达容量的比较
本章小结
本章参考文献
习题
参考文献

50多年前(1948年)经典信息论，即仙农信息论的诞生标志着人们对客观世界认识的飞跃。 当前，经典信息论已渗透到多个技术领域，而飞速发展的信息技术也已成为推动世界生产力发展的重要因素。 因此，人们越来越认识到信息论的基本原理是从事信息领域研究或管理所必须具备的知识。 20世纪80年代，北京邮电大学周炯柴院士出版的《信息理论基础》是我国第一部系统介绍仙农信息论的专著，开创了我国信息论教学的新阶段，该书曾获教育部优秀教材特等奖。20世纪末，北京邮电大学吴伟陵教授的《信息处理与编码》一书，作为国家95重点教材，全面介绍了通信中的三大基本技术问题，即传输的有效性、传输的可靠性以及传输的安全性问题，也受到社会的广泛欢迎，并多次再版。 随着信息技术的发展，很多大学的相关专业相继开设信息论课程，说明信息论基本理论的普及和掌握在当前信息时代显得越来越重要。 因此，编写既适于本科层次又兼顾研究生层次，而且还包含当前信息领域最新进展内容的教材就显得尤为需要。这也是本书《工程信息论》写作的初衷。 本书是在上述两本教材的基础上，用作者经过多年的教学和科研实践经验的积累，以及向众多的信息论与通信界著名专家学习的心得体会写成的。 本书力求遵循与时俱进的原则，简化某些不太重要的内容，适当增加该领域的最新成果。与国内已出版的大部分教材相比，所增加的内容主要有：第2章的信息散度；第3章的无限离散信源和周期马氏源；第4章对离散无记忆信道容量的计算方法的系统归纳；第5章对算术编码的较详细的论述，LZ编码以及文本树加权编码；第6章用联合典型序列方法对仙农第2定理所作的证明；第7章的最大熵谱估计和复高斯信源熵的计算；第8章的数字调制系统的容量，该内容对数字调制与编码系统的研究有重要参考价值；第9章的倒注水原理；第10章的有约束信道容量与编码的大部分内容；第11章的空时信道容量的研究。 本书所考虑的另一个因素就是力求让讲述的内容更适合工科专业学生的学习，因此对定理的讲解尽量不陷入繁琐的数学推导，而注重明确的物理或直观的概念和理解，并尽量用实例来说明，从而使本书更体现信息论宽广的工程背景。 此外，为了便于自学，本书将内容分成层次，有关号者在初学时可以略过。同时，每章后面都有习题作为课后的练习。为便于读者对某些问题进行深入研究，有些章后面列出了本章的重要参考文献，而各章共同的参考文献则列于书的末尾。 学习本课程需要具备较扎实的概率论与随机过程的知识，如果有通信原理的基础则更好一些，但通常本课程可以与通信原理课同步学习。本书除主要用做信息与通信或相关专业本科教材外，还可作为相关专业研究生和工程技术人员的参考书。 本书在写作过程中，作者得到北京邮电大学的资助，得到校领导、教务处和信息工程学院领导郭军院长、杨洁副院长的关心与支持，并始终得到了吴伟陵、钟义信等信息论著名专家的关心与指导，得到了信息理论与技术教研中心的全体教师特别是吴文礼教授、王晓湘副教授的支持与帮助，得到天津大学电子信息工程学院戴居丰院长、侯春萍副院长、王秉钧教授的支持。很多同学也为本书的完成作出了贡献，他们是贺志强、龙恳、李涛、谭云、田涛、黄曜明、聂霄、张帆、胡子明等。作者在此一并表示感谢。 尽管作者花费很大精力撰写本书，但终因水平所限，错误与疏漏之处所在难免，敬请诸位读者批评指正。