这是一本研究如何实现具有Web访问能力的网络机器人的书。该书从Internet编程的基本原理出发,深入浅出、循序渐进地阐述了网络机器人程序Spider、Bot、Aggregator的实现技术,并分析了每种程序的优点及适用场合。本书提供了大量的有效源代码,并对这些代码进行了详细的分析。通过本书的介绍,你可以很方便地利用这些技术,设计并实现网络蜘蛛或网络信息搜索器等机器人程序。
读者对象:适合于具有一定Java编程基础的软件开发人员阅读,也可供Web开发人员作为技术参考资料使用。
\r\n
第1章 Java套接字编程技术\r\n\r\n套接字家庭\r\n网络编程\r\nJava I/O编程技术\r\n代理的问题\r\nJava中的套接字编程\r\n客户端套接字\r\n服务器套接字\r\n小结\r\n\r\n第2章 分析超文本传输协议\r\n\r\n地址格式\r\n使用套接字进行HTTP编程\r\nBot包的HTTP类组\r\n实现细节\r\n小结\r\n\r\n第3章 通过HTTPS访问加密站点\r\n\r\nHTTP与HTTPS\r\n通过Java使用HTTPS\r\nHTTP用户认证\r\n安全访问\r\n实现细节\r\n小结\r\n\r\n第4章 解析HTML\r\n\r\n使用HTML\r\nBot关心的标签\r\n需要特殊处理的HTML\r\n使用Bot类解析的HTML\r\n使用Swing类解析HTML\r\nBot包HTML解析例子\r\n实现细节\r\n小结\r\n\r\n第5章 发送表单\r\n\r\n使用表单\r\n用于普通发送的Bot类\r\n实现细节\r\n小结\r\n\r\n第6章 解释数据\r\n\r\nCSV文件的结构\r\nQIF文件的结构\r\nXML文件格式\r\n小结\r\n\r\n第7章 探索Cookie\r\n\r\n分析Cookie\r\n用于Cookie处理的Bot类\r\n实现细节\r\n小结\r\n\r\n第8章 编写Spider程序\r\n\r\n网站的结构\r\nSpider程序的结构\r\n构造Spider程序\r\n小结\r\n\r\n第9章 编写大型Spider程序\r\n\r\n多线程\r\n用Java实现多线程\r\n线程同步\r\n使用数据库\r\n高性能的Spider程序\r\n实现细节\r\n小结\r\n\r\n第10章 编写Bot程序\r\n\r\n构造典型的Bot程序\r\n使用CatBot程序\r\nCatBot实例\r\n实现细节\r\n小结\r\n\r\n第11章 编写Aggregator程序\r\n\r\n在线汇总与离线汇总\r\n构造底层Bot\r\n构造气象Aggregator程序\r\n小结\r\n\r\n第12章 负责任地使用Bot程序\r\n\r\n与网站协商\r\nWeb站点管理员的措施\r\n负责任的Spider程序\r\n实现细节\r\n小结\r\n\r\n第13章 Bot程序的未来\r\n\r\nInternet信息的传送\r\n理解XML\r\n传送XML数据\r\nBot和SOAP\r\n小结\r\n\r\n附录A Bot包\r\n附录B 各种与HTTP相关的字符\r\n附录C 故障诊断\r\n附录D 安装Tomcat系统\r\n附录E 在Windows下编译实例\r\n附录F 在Unix下编译实例\r\n附录G 重新编译Bot包\r\n\r\n术语表