16【毕业设计】搜索引擎的研究与实现文档

程序首先解析网页的代码，查找该页面内的超连接然后通过递归和非递归两种结构来实现程序。

递归结构递归是在个方法中调用自己本身的程序设计技术。

虽然比较容易实现但耗费内存且不能使用多线程技术，故不适合大型项目。

非递归结构这种方法使用队列的数据结构，当程序发现超连接后并不调用自己本身而是把超连接加入到等待队列中。

当程序扫描完当前页面后会根据制定的策略访问队列中的下个超连接地址。

虽然这里只描述了个队列，但在实际编程中用到了四个队列，他们每个队列都保存着构造函数的对象方法获取指定页面的图片清单方法获取指定页面的连接清单讯的对象方法获取最后次调用方法检索到的表单清单方法获取发送给类来解析，本人在实际编程中采用后者。

包中的类用来从指定中读取数据并检索出有用的信息。

下面给出该类几种重要的方法。

构造函数构造对象并指定用于通钮来提交内容，这就是表单的典型应用。

表格标签表格是的构成部分，通常用来格式化存放显示数据。

我们在具体解析这些标签有两种方法通过中的类来解析或者通过包中的这正是网络机器人最关心的标签。

图像映射标签图像映射是另种非常重要的标签。

它可以让用户通过点击图片来迁移到新的页面中。

表单标签表单是页面中可以输入数据的单元。

许多站点让用户填写数据然后通过点击按的代码我们在进行解析的时候不用关心所有的标签，只需要对其中几种重要的进行解析即可。

超连接标签超连接定义了通过链接文档的功能。

他们的主要目的是使用户能够任意迁移到新的页面，。

在解决如何解析之前，先来介绍下中的几种数据。

文本除了脚本和标签之外的所有数据注释程序员留下的说明文字，对用户是不可见的简单标签由单个表示的标签开始标签和结束标签用来控制所包含是种协议。

所以网络机器人本质上是种基于的网络程序。

如何解析因为中的信息都是建立在协议之上的，所以网络机器人在检索网页时的第个问题就是如何解析协议基础上，而又是建立在协议之上，它同时也站点的文件清单和层次机构。

还可以扫描出中断的超链接和拼写等。

网络机器人的结构分析是建立在很多相关协议基础上的，而更复杂的协议又建立在系统层协议之上。

就是建立在有页面。

基于因特网的搜索引擎是的最早应用。

例如搜索巨头公司，就利用网络机器人程序来遍历站点，以创建并维护这些大型数据库。

网络机器人还可以通过扫描站点的主页来得到这个么是网络机器人网络机器人又称为程序，是种专业的程序。

用于查找大量的页面。

它从个简单的页面上开始执行，然后通过其超链接在访问其他页面，如此反复理论上可以扫描互联网上的所性能指标进行了分析，本人在这些研究的基础上利用技术和些工具实现了个简单的搜索引擎新闻搜索引擎。

在接下来的几章里将会就本人的设计进行详细的分析。

第三章网络机器人什准确率次搜索结果中符合用户要求的数目与该次搜索结果总数之比相关度用户查询与搜索结果之间相似度的种度量精确度对搜索结果的排序分级能力和对垃圾网页的抗干扰能力小节以上对基于因特网的搜索引擎结构和的技术指标决定了搜索引擎的评价指标。

好的搜索引擎应该是具有较快的反应速度和高召回率准确率的，当然这些都需要搜索引擎技术指标来保障。

召回率次搜索结果中符合用户要求的数目与用户查询相关信息的总数之比服务器接收到客户的查询条件后在索引数据库中进行查询排列然后返回给客户端。

搜索引擎的主要指标及分析搜索引擎的主要指标有响应时间召回率准确率相关度等。

这些指标决定了搜索引擎的技术指标。

搜索引擎行检索然后把符合查询要求的数据库按照定的策略进行分级排列并且返回给用户。

服务器客户般通过浏览器进行查询，这就需要系统提供服务器并且与索引数据库进行连接。

客户在浏览器中输入查询条件，行检索然后把符合查询要求的数据库按照定的策略进行分级排列并且返回给用户。

服务器客户般通过浏览器进行查询，这就需要系统提供服务器并且与索引数据库进行连接。

客户在浏览器中输入查询条件，服务器接收到客户的查询条件后在索引数据库中进行查询排列然后返回给客户端。

搜索引擎的主要指标及分析搜索引擎的主要指标有响应时间召回率准确率相关度等。

这些指标决定了搜索引擎的技术指标。

搜索引擎的技术指标决定了搜索引擎的评价指标。

好的搜索引擎应该是具有较快的反应速度和高召回率准确率的，当然这些都需要搜索引擎技术指标来保障。

召回率次搜索结果中符合用户要求的数目与用户查询相关信息的总数之比准确率次搜索结果中符合用户要求的数目与该次搜索结果总数之比相关度用户查询与搜索结果之间相似度的种度量精确度对搜索结果的排序分级能力和对垃圾网页的抗干扰能力小节以上对基于因特网的搜索引擎结构和性能指标进行了分析，本人在这些研究的基础上利用技术和些工具实现了个简单的搜索引擎新闻搜索引擎。

在接下来的几章里将会就本人的设计进行详细的分析。

第三章网络机器人什么是网络机器人网络机器人又称为程序，是种专业的程序。

用于查找大量的页面。

它从个简单的页面上开始执行，然后通过其超链接在访问其他页面，如此反复理论上可以扫描互联网上的所有页面。

基于因特网的搜索引擎是的最早应用。

例如搜索巨头公司，就利用网络机器人程序来遍历站点，以创建并维护这些大型数据库。

网络机器人还可以通过扫描站点的主页来得到这个站点的文件清单和层次机构。

还可以扫描出中断的超链接和拼写等。

网络机器人的结构分析是建立在很多相关协议基础上的，而更复杂的协议又建立在系统层协议之上。

就是建立在协议基础上，而又是建立在协议之上，它同时也是种协议。

所以网络机器人本质上是种基于的网络程序。

如何解析因为中的信息都是建立在协议之上的，所以网络机器人在检索网页时的第个问题就是如何解析。

在解决如何解析之前，先来介绍下中的几种数据。

文本除了脚本和标签之外的所有数据注释程序员留下的说明文字，对用户是不可见的简单标签由单个表示的标签开始标签和结束标签用来控制所包含的代码我们在进行解析的时候不用关心所有的标签，只需要对其中几种重要的进行解析即可。

超连接标签超连接定义了通过链接文档的功能。

他们的主要目的是使用户能够任意迁移到新的页面，这正是网络机器人最关心的标签。

图像映射标签图像映射是另种非常重要的标签。

它可以让用户通过点击图片来迁移到新的页面中。

表单标签表单是页面中可以输入数据的单元。

许多站点让用户填写数据然后通过点击按钮来提交内容，这就是表单的典型应用。

表格标签表格是的构成部分，通常用来格式化存放显示数据。

我们在具体解析这些标签有两种方法通过中的类来解析或者通过包中的类来解析，本人在实际编程中采用后者。

包中的类用来从指定中读取数据并检索出有用的信息。

下面给出该类几种重要的方法。

构造函数构造对象并指定用于通讯的对象方法获取最后次调用方法检索到的表单清单方法获取发送给构造函数的对象方法获取指定页面的图片清单方法获取指定页面的连接清单方法打开个页面并读入该页面，若指定了回调对象则给出所有该对象数据，程序结构网络机器人必须从个网页迁移到另个网页，所以必须找到该页面上的超连接。

程序首先解析网页的代码，查找该页面内的超连接然后通过递归和非递归两种结构来实现程序。

递归结构递归是在个方法中调用自己本身的程序设计技术。

虽然比较容易实现但耗费内存且不能使用多线程技术，故不适合大型项目。

非递归结构这种方法使用队列的数据结构，当程序发现超连接后并不调用自己本身而是把超连接加入到等待队列中。

当程序扫描完当前页面后会根据制定的策略访问队列中的下个超连接地址。

虽然这里只描述了个队列，但在实际编程中用到了四个队列，他们每个队列都保存着同处理状态的。

等待队列在这个队列中，等待被程序处理。

新发现的也被加入到这个队列中处理队列当程序开始处理时，他们被送到这个队列中队列如果在解析网页时出错，将被送到这里。

该队列中的不能被移入其他队列中完成队列如果解析网页没有出错，将被送到这里。

该队列中的不能被移入其它队列中在同时间只能在个队列中，我们把它称为的状态。

以上的图表示了队列的的应用软件容器。

由子项目支持并由来自开放性源代码社区的志愿者进行维护。

是根据和规范进行执行的，因此我们就可以说也实行了规范且比绝大多数商业应用软件服务器要好。

用户接口设计客户端设计个良好的查询界面非常重要，例如就以她简洁的查询界面而闻名。

我在设计的时候也充分考虑了实用性和简洁性。

查询界面截图如下搜索结果截图如下服务端设计主要利用技术实现，用户通过方法从客户端向服务端提交查询条件，服务端通过的容器接受并分析提交参数，再调用的开发包进行搜索操作。

最后把搜索的结果以消息包的形式发送至客户端，从而完成次搜索操作。

服务端程序的结构如下实现的关键代码如下，从索引目录创建索引创建标准分析器查询条件是个抽象类搜索结果