模式识别 第二版 (2010 年度畅销榜NO.3261 )

本书是清华大学自动化系教材，主要讨论统计模式识别理论和方法，第一版包括贝叶斯决策理论、线性和非线性判别函数、近邻规则、经验风险最小化、特征提取和选择，以及聚类分析，等等。多数章后附有习题，适于教学和自学。\r\n\r\n 第二版在第一版基础上进行了较多的修订和补充，增加了关于人工神经网络、模糊模式识别、模拟退火和遗传算法，以及统计学习理论和支持向量机等内容，还介绍了模式识别在人脸识别、说话人语音识别及字符识别等中的应用实例。\r\n\r\n 本书除了可以作为高等院校自动化、计算机等专业研究生和高年级学生的模式识别教材外，也可供计算机信息处理、自动控制、地球物理、生物信息等领域中从事模式识别工作的广大科技人员和高校师生参考。\r\n\r\n \r\n
\r\n

第二版前言 \r\n\r\n 第一版前言 \r\n\r\n 第1章 绪论 \r\n\r\n 1. 1 模式识别和模式的概念 \r\n\r\n 1. 2 模式识别系统 \r\n\r\n 1. 3 关于模式识别的一些基本问题 \r\n\r\n 1. 4 关于本书的内容安排 \r\n\r\n 第2章 贝叶斯决策理论 \r\n\r\n 2. 1 引言 \r\n\r\n 2. 2 几种常用的决策规则 \r\n\r\n 2. 2. 1 基于最小错误率的贝叶斯决策 \r\n\r\n 2. 2. 2 基于最小风险的贝叶斯决策 \r\n\r\n 2. 2. 3 在限定一类错误率条件下使另一类错误率为最小的两类别决策 \r\n\r\n 2. 2. 4 最小最大决策 \r\n\r\n 2. 2. 5 序贯分类方法 \r\n\r\n 2. 2. 6 分类器设计 \r\n\r\n 2. 3 正态分布时的统计决策 \r\n\r\n 2. 3. 1 正态分布概率密度函数的定义及性质 \r\n\r\n 2. 3. 2 多元正态概率型下的最小错误率贝叶斯判别函数和决策面 \r\n\r\n 2. 4 关于分类器的错误率问题 \r\n\r\n 2. 4. 1 在一些特殊情况下错误率的理论计算 \r\n\r\n 2. 4. 2 错误率的上界 \r\n\r\n 2. 5 讨论 \r\n\r\n 习题 \r\n\r\n 第3章 概率密度函数的估计 \r\n\r\n 3. 1 引言 \r\n\r\n 3. 2 参数估计的基本概念 \r\n\r\n 3. 2. 1 最大似然估计 \r\n\r\n 3. 2. 2 贝叶斯估计和贝叶斯学习 \r\n\r\n 3. 3 正态分布的监督参数估计 \r\n\r\n 3. 3. 1 最大似然估计示例 \r\n\r\n 3. 3. 2 贝叶斯估计和贝叶斯学习示例 \r\n\r\n 3. 4 非监督参数估计 \r\n\r\n 3. 4. 1 非监督最大似然估计中的几个问题 \r\n\r\n 3. 4. 2 正态分布情况下的非监督参数估计 \r\n\r\n 3. 5 总体分布的非参数估计 \r\n\r\n 3. 5. 1 基本方法 \r\n\r\n 3. 5. 2 Parzen窗法 \r\n\r\n 3. 5. 3 KN-近邻估计 \r\n\r\n 3. 6 关于分类器错误率的估计问题 \r\n\r\n 3. 6. 1 关于已设计好分类器时错误率的估计问题 \r\n\r\n 3. 6. 2 关于未设计好分类器时错误率的估计问题 \r\n\r\n 3. 7 讨论 \r\n\r\n 习题 \r\n\r\n 第4章 线性判别函数 \r\n\r\n 4. 1 引言 \r\n\r\n 4. 1. 1 线性判别函数的基本概念 \r\n\r\n 4. 1. 2 广义线性判别函数 \r\n\r\n 4. 1. 3 设计线性分类器的主要步骤 \r\n\r\n 4. 2 Fisher线性判别 \r\n\r\n 4. 3 感知准则函数 \r\n\r\n 4. 3. l 几个基本概念 \r\n\r\n 4. 3. 2 感知准则函数及其梯度下降算法 \r\n\r\n 4. 4 最小错分样本数准则 \r\n\r\n 4. 4. 1 解线性不等式组的共轭梯度法 \r\n\r\n 4. 4. 2 解线性不等式组的搜索法 \r\n\r\n 4. 5 最小平方误差准则函数 \r\n\r\n 4. 5. 1 平方误差准则函数及其伪逆解 \r\n\r\n 4. 5. 2 MSE准则函数的梯度下降算法 \r\n\r\n 4. 5. 3 随机MSE准则函数及其随机逼近算法 \r\n\r\n 4. 6 随机最小错误率线性判别准则函数 \r\n\r\n 4. 6. 1 随机最小错误率线性判别准则函数 \r\n\r\n 4. 6. 2 关于Jer(a)准则的随机逼近算法 \r\n\r\n 4. 6. 3 设计考虑和应用实例 \r\n\r\n 4. 7 多类问题 \r\n\r\n 4. 7. 1 多类问题的基本概念 \r\n\r\n 4. 7. 2 决策树简介 \r\n\r\n 4. 8 讨论 \r\n\r\n 习题 \r\n\r\n 第5章 非线性判别函数 \r\n\r\n 5. 1 分段线性判别函数的基本概念 \r\n\r\n 5. 1. 1 基于距离的分段线性判别函数 \r\n\r\n 5. 1. 2 分段线性判别函数 \r\n\r\n 5. 1. 3 分段线性分类器设计的一般考虑 \r\n\r\n 5. 2 用凹函数的并表示分段线性判别函数 \r\n\r\n 5. 2. 1 分段线性判别函数的表示 \r\n\r\n 5. 2. 2 算法步骤 \r\n\r\n 5. 3 用交遇区的样本设计分段线性分类器 \r\n\r\n 5. 3. 1 算法基本思想 \r\n\r\n 5. 3. 2 紧互对原型对与交遇区 \r\n\r\n 5. 3. 3 局部训练法 \r\n\r\n 5. 3. 4 决策规则 \r\n\r\n 5. 4 二次判别函数 \r\n\r\n 习题 \r\n\r\n 第6章 近邻法 \r\n\r\n 6. 1 最近邻法 \r\n\r\n 6. 1. 1 最近邻决策规则 \r\n\r\n 6. 1. 2 最近邻法的错误率分析 \r\n\r\n 6. 2 k-近邻法 \r\n\r\n 6. 3 关于减少近邻法计算量和存储量的考虑 \r\n\r\n 6. 3. 1 近邻法的快速算法 \r\n\r\n 6. 3. 2 剪辑近邻法 \r\n\r\n 6. 3. 3 压缩近邻法 \r\n\r\n 6. 4 可做拒绝决策的近邻法 \r\n\r\n 6. 4. 1 具有拒绝决策的k-近邻法 \r\n\r\n 6. 4. 2 具有拒绝决策的剪辑近邻法 \r\n\r\n 6. 5 最佳距离度量近邻法 \r\n\r\n 习题 \r\n\r\n 第7章 经验风险最小化和有序风险最小化方法 \r\n\r\n 7. 1 平均风险最小化和经验风险最小化 \r\n\r\n 7. 2 有限事件类情况 \r\n\r\n 7. 3 线性分界权向量数的估计 \r\n\r\n 7. 4 事件出现频率一致收敛于其概率的条件 \r\n\r\n 7. 5 生长函数的性质 \r\n\r\n 7. 6 经验最优判决规则偏差的估计 \r\n\r\n 7. 7 经验最优判决规则偏差估计的改进 \r\n\r\n 7. 8 有序风险最小化方法 \r\n\r\n 7. 8. 1 判决规则选择准则 \r\n\r\n 7. 8. 2 几种判决规则类的排序方法 \r\n\r\n 7. 9 讨论 \r\n\r\n 习题 \r\n\r\n 第8章 特征的选择与提取 \r\n\r\n 8. 1 基本概念 \r\n\r\n 8. 1. 1 问题的提出 \r\n\r\n 8. 1. 2 一些基本概念 \r\n\r\n 8. 2 类别可分离性判据 \r\n\r\n 8. 2. 1 用于可分性判据的类内类间距离 \r\n\r\n 8. 2. 2 基于概率分布的可分性判据 \r\n\r\n 8. 2. 3 基于熵函数的可分性判据 \r\n\r\n 8. 2. 4 类别可分离性判据的直接应用举例 \r\n\r\n 8. 3 特征提取 \r\n\r\n 8. 3. 1 按欧氏距离度量的特征提取方法 \r\n\r\n 8. 3. 2 按概率距离判据的特征提取方法 \r\n\r\n 8. 3. 3 用散度准则函数的特征提取器 \r\n\r\n 8. 3. 4 多类情况 \r\n\r\n 8. 3. 5 基于判别炳最小化的特征提取 \r\n\r\n 8. 3. 6 两维显示 \r\n\r\n 8. 4 特征选择 \r\n\r\n 8. 4. 1 最优搜索算法 \r\n\r\n 8. 4. 2 次优搜索法 \r\n\r\n 8. 4. 3 可分性判据的递推计算 \r\n\r\n 8. 5 特征选择的几种新方法 \r\n\r\n 8. 5. 1 模拟退火算法 \r\n\r\n 8. 5. 2 Tabu搜索算法 \r\n\r\n 8. 5. 3 遗传算法 \r\n\r\n 习题 \r\n\r\n 第9章 基于K-L展开式的特征提取 \r\n\r\n 9. 1 傅里叶级数展开式 \r\n\r\n 9. 2 K-L展开式 \r\n\r\n 9. 3 K-L展开式的性质 \r\n\r\n 9. 3. 1 展开系数 \r\n\r\n 9. 3. 2 表示熵 \r\n\r\n 9. 3. 3 总体熵 \r\n\r\n 9. 4 K-L坐标系的产生矩阵 \r\n\r\n 9. 5 从类平均向量中提取判别信息 \r\n\r\n 9. 6 包含在类平均向量中判别信息的最优压缩 \r\n\r\n 9. 7 包含在类中心化特征向量中判别信息的提取 \r\n\r\n 9. 8 用于非监督模式识别问题中的特征提取 \r\n\r\n 9. 9 K-L变换在人脸自动识别研究中的一个应用 \r\n\r\n 9. 9. 1 图像的归一化 \r\n\r\n 9. 9. 2 K-L变换 \r\n\r\n 9. 9. 3 特征向量的选取 \r\n\r\n 9. 10 讨论 \r\n\r\n 习题 \r\n\r\n 第10章 非监督学习方法 \r\n\r\n 10. 1 引言 \r\n\r\n 10. 2 单峰子集(类)的分离方法 \r\n\r\n 10. 2. 1 投影方法 \r\n\r\n lo. 2. 2 基于对称集性质的单峰子集分离法 \r\n\r\n 10. 2. 3 单峰子集分离的迭代算法 \r\n\r\n 10. 3 类别分离的间接方法 \r\n\r\n 10. 3. 1 动态聚类方法 \r\n\r\n 10. 3. 2 近邻函数准则算法 \r\n\r\n 10. 4 分级聚类方法 \r\n\r\n 10. 5 非监督学习方法中的一些问题 \r\n\r\n 习题 \r\n\r\n 第11章 人工神经网络 \r\n\r\n 11. 1 引言 \r\n\r\n 11. 2 人工神经元 \r\n\r\n 11. 2. 1 生物神经元 \r\n\r\n 11. 2. 2 人工神经元 \r\n\r\n 11. 2. 3 神经元的学习算法 \r\n\r\n 11. 3 前馈神经网络及其主要算法 \r\n\r\n 11. 3. 1 前馈神经网络 \r\n\r\n 11. 3. 2 感知器 \r\n\r\n 11. 3. 3 三层前馈网络 \r\n\r\n 11. 3. 4 反向传播算法(BP法) \r\n\r\n 11. 3. 5 径向基函数网络 \r\n\r\n 11. 4 竞争学习和侧抑制 \r\n\r\n 11. 5 自组织特征映射 \r\n\r\n 11. 6 Hopfield网络 \r\n\r\n 11. 6. 1 离散Hopfield网络 \r\n\r\n 11. 6. 2 联想存储器 \r\n\r\n 11. 6. 3 优化计算 \r\n\r\n 11. 6. 4 连续时间Hopfield网络 \r\n\r\n 11. 7 神经网络模式识别的典型做法 \r\n\r\n 11. 7. 1 多层前馈网络用于模式识别 \r\n\r\n 11. 7. 2 自组织网络用于模式识别 \r\n\r\n 11. 8 前馈神经网络与统计模式识别的关系 \r\n\r\n 11. 8. 1 隐层的特征提取作用 \r\n\r\n 11. 8. 2 神经网络与贝叶斯分类器 \r\n\r\n 11. 9 讨论 \r\n\r\n 第12章 模糊模式识别方法 \r\n\r\n 12. 1 引言 \r\n\r\n 12. 2 模糊集的基本知识 \r\n\r\n 12. 3 模糊特征和模糊分类 \r\n\r\n 12. 3. 1 模糊化特征 \r\n\r\n 12. 3. 2 结果的模糊化 \r\n\r\n 12. 4 特征的模糊评价 \r\n\r\n 12. 4. 1 模糊程度的度量 \r\n\r\n 12. 4. 2 特征的模糊评价 \r\n\r\n 12. 5 模糊聚类方法 \r\n\r\n 12. 5. 1 模糊C均值算法 \r\n\r\n 12. 5. 2 改进的模糊C均值算法 \r\n\r\n 12. 6 模糊A近邻分类器 \r\n\r\n 12. 7 讨论 \r\n\r\n 第13章 统计学习理论和支持向量机 \r\n\r\n 13. 1 引言 \r\n\r\n 13. 2 机器学习的基本问题和方法 \r\n\r\n 13. 2. 1 机器学习问题的表示 \r\n\r\n 13. 2. 2 经验风险最小化 \r\n\r\n 13. 2. 3 复杂性与推广能力 \r\n\r\n 13, 3 统计学习理论的核心内容 \r\n\r\n 13. 3. 1 学习过程一致性的条件 \r\n\r\n 13, 3. 2 函数集的学习性能与VC维 \r\n\r\n 13. 3. 3 推广性的界 \r\n\r\n 13. 3. 4 结构风险最小化 \r\n\r\n 13. 4 支持向量机 \r\n\r\n 13. 4. 1 最优分类面 \r\n\r\n 13. 4. 2 广义最优分类面 \r\n\r\n 13. 4. 3 规范化超平面集的子集结构 \r\n\r\n 13. 4. 4 支持向量机 \r\n\r\n 13. 5 讨论 \r\n\r\n 第14章 模式识别在语音信号数字处理中的应用举例 \r\n\r\n 14. 1 说话人识别概述 \r\n\r\n 14. 2 语音信号及其几个特性 \r\n\r\n 14. 3 短时基音周期的估计 \r\n\r\n 14. 4 一个说话人识别系统举例 \r\n\r\n 14. 5 讨论 \r\n\r\n 第15章 印刷体汉字识别中的特征提取 \r\n\r\n 15. 1 印刷体汉字识别的基本知识 \r\n\r\n 15. 2 印刷体汉字的统计特性及分析 \r\n\r\n 15. 3 文字的归一化 \r\n\r\n 15. 4 印刷体汉字识别中的一些特征 \r\n\r\n 15. 5 分类问题 \r\n\r\n 15. 6 判别准则 \r\n\r\n 15. 7 讨论 \r\n\r\n 主要参考书目 \r\n\r\n 附录A 几种最优化算法 \r\n\r\n A. 1 梯度(下降)法 \r\n\r\n A. 2 牛顿法 \r\n\r\n A. 3　共扼梯度法 \r\n\r\n A. 4 Lagrange乘子法 \r\n\r\n A. 5 随机逼近法 \r\n\r\n \r\n
\r\n

第二版前言

本书自1988年出版以来已经过去10多年了. 在这期间, 我们把它作为高年级学生和研究生学习模式识别课程的教材取得了不少的教学经验, 也发现了原书中的个别错误以及叙述不清楚的地方. 特别是自本书出版以来, 模式识别学科还在不断地发展, 人工神经网络和各种新的最优化技术在模式识别中的广泛应用, 以及作为统计模式识别基础的统计学习理论的新进展, 都使我们迫切感觉到要对本书进行大的修改和补充新的内容, 以适应当前学科发展的需要. 在清华大学出版社的大力支持下, 我们成立了由边肇祺. 阎平凡. 赵南元. 张学工和张长水等教授和副教授组成的改写小组, 并由张学工副教授负责第二版的出版组织工作. 其中, 赵南元教授对原书绪论进行了改写, 赵南元. 阎平凡教授和张学工副教授参与了人工神经网络一章的编写, 张学工副教授撰写了关于统计学习理论和模糊集方面的两章内容, 张长水副教授撰写了有关遗传算法和模拟退火算法等方面的内容以及模式识别在人脸识别. 说话人语音识别和字符识别中应用的举例. 张学工副教授还对原书内容进行了仔细的审读, 对其中的错误加以改正, 对原书中叙述不适当的地方也进行了必要的修改, 并增加了少量评述.

我们希望本书第二版的出版, 不仅给学习统计模式识别课程的高年级学生和研究生提供一本内容比较全面的教材, 而且也为广大从事模式识别实际应用的科学工作者和技术人员提供一本可读性较好的参考书. 当然, 由于模式识别涉及到很多学科领域, 我们的实践经验和理论水平都有其局限性, 本书还会存在不少不足的地方, 敬请读者在阅读本书时, 能不断地给我们提出宝贵的建议和对有错误的地方进行指正, 以在今后再版时加以改进.

本教材的编写得到了国家自然科学基金的资助(项目编号69885004).

边肇祺

1999年9月于清华园

第一版前言

这本教材是清华大学自动化系信息处理和模式识别教研组在近几年给大学生和研究生讲授“模式识别”课程的基础上, 参考了国外同类教材及有关文献编写而成, 重点讨论统计识别方法. 为了使读者能够对模式识别的应用有一定的了解, 本书最后两章讨论了模式识别在一维数字波形和二维数字图像中的应用. 这一部分内容在很大程度上涉及到数字信号处理和数字图像处理中的一些方法, 因此只是为了给有兴趣的读者作参考, 讲授时完全可以略去而不影响对全书的理解.

本书是在常迥教授的热情支持和帮助下写成的, 参加编写的有边肇祺. 阎平凡. 杨存荣. 高林. 刘松盛和汤之永等同志. 边肇祺. 阎平凡和杨存荣对全书原稿进行了大量修改和校正.

我们在编写过程中反复进行讨论, 力求把这本教材写好, 但仍会有错漏之处. 希望读者能及时把发现的问题告诉我们, 并希望为今后进一步提高本书的质量提出宝贵意见.