能，以及可行性分析与决策。让读者了解本系统将要做什么，采用什么样的方案来做，以及这个系统将带来什么样的好处。为了更好的介绍该系统，对系统所使用的框架也必须有所了解，以便更好的理解本系统内部实现。江汉大学本科毕业论文设计全文搜索引擎系统设计与实现系统设计的任务是在系统分析提出的逻辑模型的基础上，考虑实际条件，科学合理地进行物理模型的设计，确定系统的实施方案，解决的是怎样做的问题。系统功能图本系统仍然是按照传统的搜索引擎，将系统划分为三个模块，分别为爬虫模块，与处理模块，检索模块，如果图所示图系统功能图图系统功能图江汉大学本科毕业论文设计系统实体设计实体根据返回的报文，如图所示，将实体划分为相应头实体相应结果实体，条目实体，文档实体四个实体。图查询返回报文格式实体的属性表相应头实体属性名类型备注检索状态本次查询所需要的毫秒数用户输入的关键字表相应结果实体属性名类型备注本次查找到的记录数查询开始条目的位置的集合表条目实体属性名类型备注文档摘要江汉大学本科毕业论文设计网页内容网页标题数据段文档摘要值网页，般和相同连接地址连接下的锚点集合文档版本号表相应头实体属性名类型备注响应头实体相应内容实体实体间的联系这些实体类型之间的联系为组合关系系统实现系统需要的环境硬件需求以上主机以上内存以上硬盘空间软件环境操作系统开发工具框架库江汉大学本科毕业论文设计系统开发所用的工具是，是这样种开发工具，它是基于平台的面向对象的，它采用了面向对象的分析和设计的方法，在开发的过程中能够很好地用到了面向对象所具有的特点，使编程量有所减少，能够保持界面的致性和操作的相似性，使系统实现了整体性，以提高系统开发的效率。系统中的配置在使用之前需要先下载并配置以下以操作系统为例，介绍下的安装和配置。在安装前，首先确保本机器上安装有，等环境。这些环境的安装在此不做介绍。的下载地址安装命令列表从网络上获取将下载的解压进入目录，重新编译源代码使用自动构建工具编译完成以后，会多出个文件夹，进入运行本地模式表安装命令江汉大学本科毕业论文设计图检测环境到了这步，如果出现如图命令帮助信息，说明已经安装完成。对整个网络进行抓取整个网络的抓取被设计成用来处理那些可能需要耗费几个星期来完成，在许多台机器上运行的非常大的抓取。这也允许在抓取的过程中进行更多的控制，还有增量抓取。最重要的是要记住整个网络的抓取并不定意味着要抓取整个万维网。可以限制整个网络的抓取只是抓取列出的想要抓取的。这是通过使用个就像使用命令时样的过滤器来完成的。数据是由这些组成的抓取数据库，或者说是。它包含了关于每个已知的的信息，包括它是否已经被获取，甚至是何时被获取的。链接数据库，或者说是。它包含了每个已知的链接，包括源的以及链接的锚文本。系列的分段，或者说是。每个都是组被作为个单元来获取的。是它本身这个目录以及它下面的子目录个确定了将要被获取的组个包含了获取的每个的状态个包含了从每个获取回来的原始的内容个包含了每个解析以后的文本个包含来自每个被解析后内容中的外链和元数据个包含了外链的，用来更新。江汉大学本科毕业论文设计用组列表确定选择从数据库自举。由添加到里。可以从开放式分类目录添加。首先必须下载并且解压缩这个所有网页的列表这是个多的文件，所以这会消耗几分钟。接下来选择这些网页当中随机的些子集。包含了大约三百万个。从每个中选择出个，这时候大约就有个这分析器也需要几分钟来完成，因为它必须要分析整个文件。最后，用这些选出的来初始化。现在有了个大约有个未被获取的的网络数据库。选择从初始列表里自举。这选项不为人们所了解的地方在于创建初始列表并覆盖在目录里。由于中包含大量的，抓取对硬件和时间上都有要求，下面将演示使用自定义的出事列表自举。假设当前的工作目录总是首先创建个文件夹，在下创建文件。从网络上预先准备了国内排名前的门户网站，作为初始子集。表预抓取的江汉大学本科毕业论文设计表建立初始集合命令将以上拷贝到中保存退出。打算将抓取后的所有数据放到目录中。表将中的集注入到中下面该做的就是从网络上抓取这些数据了。打算将抓取深度定义为那么就将进行三轮抓取。第轮抓取第轮抓取是抓取初始集合，这里将抓取个页面回来。抓取完成后，将新抓取的页面中的提出，更新。表第轮抓取命令第二轮抓取对包含得分最高的页提取出来产生个新的分段。第二轮抓取在第轮基础之上，抓取依据是更新后的。江汉大学本科毕业论文设计表第二轮抓取命令第三轮抓取第三轮抓取和第二轮抓取原理样，将第二轮抓取的页面提取，将更新。表第三轮抓取命令经过三轮抓取以后，数据库中大已经获取了几千张网页，下面要做的就是索引他们。在进行索引之前，首先要反转所有的链接，以便能够以这些网页来索引进入的锚文本。表反转链接命令