，国家级分布式检索系统。„在组织级别进行数据采集和索引工作，然后向主干网级别服务器提交元数据，而国家级检索服务器则记录各个子数据源检索接口描述数据。第三层集中式检索系统„范围组织单位内本地局域搜索引擎。„工作原理同般网页搜索引擎。以服务器为单位逐个下载。„排序方式同全文检索排序方式。„注意事项当遇到指向其他服务器链接时，也将此链接作为本站内容下载，但不再下载更深层次链接，这样就保留了网页间链接信息。第二层元数据采集系统„范围主干网级别搜索引擎，如上网页搜索系统。„工作原理元数据采集„排序方式超链接分析。基于提交同网页数据重复次数计算。第层分布式检索系统„范围国家级„工作原理分布式检索„排序方式元搜索排序方式网页搜索引擎网页搜索引擎网页搜索引擎联合元数据库索引元数据库索引元数据库索引元数据库联合元数据库检索接口检索接口接口基于的网页搜索引擎华中科技大学王亮.报告大纲„搜索引擎遇到的主要问题„二我们的解决方案„三主要的问题和挑战„四今后研究方向搜索引擎遇到的主要问题„覆盖率。没有个搜索引擎能够覆盖超过的互联网全部网页。„更新率。逐层递交方式可以保证整个系统数据每天更新，这样更新率问题就得到了很好解决。„但是按照这种方法，顶层服务器数据存储量可能依然很大，我们可能不得不采用分布计算等复杂技术来保障顶层服务器数据存储和检索服务质量。„要建立个可以“镜像”整个数据系统几乎是不可能,必须采用其它方式来完成此任务。相关技术按照基本体系结构划分，目前已有三种不同类型信息检索系统集中式检索系统。这种系统拥有自己数据采集装置，所有数据都存储并索引在个数据库系统中。如当前网页搜索引擎。元数据采集系统。其采用从各个小子数据库中采集元数据并整合到个系统方式构建信息检索系统。这类系统没有自己数据采集模块，仅存储起索引功能元数据，比较常用如系统。分布式检索系统。分布式信息检索系统中各个子数据库系统分别提供符合统标准信息检索接口，执行信息检索时由总系统负责协调各个子数据源完成检索请求。著名如数字图书馆计划中系。„信息检索系统基本结构选择般根据以下规则，即随着数据源规模扩大和数据类型增多般可以依次选择常规数据库型元数据采集型分布式检索型。具体方案„按照基本结构，其按范围分为组织级主干网级国家级三级，数据量有少到多。„信息检索系统基本结构选择规则随着数据规模增多可以选择集中式检索系统元数据采集型分布式检索系统。„我们将信息系统基本结构选择规则应用到整个上信息管理，可以得到以下方法组织级集中式检索系统，主干网级元数据采集系统，国家级分布式检索系统。„在组织级别进行数据采集和索引工作，然后向主干网级别服务器提交元数据，而国家级检索服务器则记录各个子数据源检索接口描述数据。第三层集中式检索系统„范围组织单位内本地局域搜索引擎。„工作原理同般网页搜索引擎。以服务器为单位逐个下载。„排序方式同全文检索排序方式。„注意事项当遇到指向其他服务器链接时，也将此链接作为本站内容下载，但不再下载更深层次链接，这样就保留了网页间链接信息。第二层元数据采集系统„范围主干网级别搜索引擎，如上网页搜索系统。„工作原理元数据采集„排序方式超链接分析。基于提交同网页数据重复次数计算。第层分布式检索系统„范围国家级„工作原理分布式检索„排序方式元搜索排序方式网页搜索引擎网页搜索引擎网页搜索引擎联合元数据库索引元数据库索引元数据库索引元数据库联合元数据库检索接口检索接口接口常用如系统。分布式检索系统。分布式信息检索系统中各个子数据库系统分别提供符合统标准信息检索接口，执行信息检索时由总系统负责协调各个子数据源完成检索请求。著名如数字图书馆计划中系。„信息检索系统基本结构选择般根据以下规则，即随着数据源规模扩大和数据类型增多般可以依次选择常规数据库型元数据采集型分布式检索型。具体方案„按照基本结构，其按范围分为组织级主干网级国家级三级，数据量有少到多。„信息检索系统基本结构选择规则随着数据规模增多可以选择集中式检索系统元数据采集型分布式检索系统。„我们将信息系统基本结构选择规则应用到整个上信息管理，可以得到以下方法组织级集中式检索系统，主干网级元数据采集系统，国家级分布式检索系统。„在组织级别进行数据采集和索引工作，然后向主干网级别服务器提交元数据，而国家级检索服务器则记录各个子数据源检索接口描述数据。第三层集中式检索系统„范围组织单位内本地局域搜索引擎。„工作原理同般网页搜索引擎。以服务器为单位逐个下载。„排序方式同全文检索排序方式。„注意事项当遇到指向其他服务器链接时，也将此链接作为本站内容下载，但不再下载更深层次链接，这样就保留了网页间链接信息。第二层元数据采集系统„范围主干网级别搜索引擎，如上网页搜索系统。„工作原理元数据采集„排序方式超链接分析。基于提交同网页数据重复次数计算。第层分布式检索系统„范围国家级„工作原理分布式检索„排序方式元搜索排序方式网页搜索引擎网页搜索引擎网页搜索引擎联合元数据库索引元数据库索引元数据库索引元数据库联合元数据库检索接口检索接口接口描述数据库第层分布式检索系统国家级第二层元数据采集型主干网级第三层集中式数据库型组织级系统特点和优势对应范围系统结构基本搜索技术整体中作用存储内容第三层组织级主干网级国家级集中式全文检索下载器原始数据第二层元数据采集式超链接分析索引器索引元数据第层分布式元搜索技术检索接口检索接口描述数据系统优势„覆盖率。由于本系统下载器工作是按域组织，因此只要个站点在域名系统中注册，其所有网页就可被新系统索引，因而从理论上讲，基于检索系统可以覆盖所有互联网网页。„更新率。新系统网页下载和更新都在底层各个服务器上进行，般都对应于不同局域网，其更新时间非常短，而在第二层，元数据上载过程也不用花费很多时间，而顶层由于没有实际数据，因此不需要更新。所以整个系统更新速度较现有系统有大幅度提高。„准确率。由于新系统三层每个节点都是完整搜索引擎，并可向外提供标准检索服务接口，这就为很多个性化智能搜索系统提供了很好数据源。在这样个性化检索系统中，可以真正做到以用户为核心，这样搜索结果显然会更精确。系统应用协调和管理„由于新系统每个节点都是完整搜索引擎，怎样使用户能够迅速找到需要搜索服务是系统应用关键。„利用用面向对象模型来描述此系统，使其成连为个整体。„用技术组织协调系统„我们为其选择个了基本命名空间系统服务调用体系基本规则„所有节点都通过标准形式提供检索服务。„所有检索服务都按照“继承”关系进行组织，低层节点通过引用高层节点形式进行继承，高层节点通过个专门模块用来索引低层节点检索接口。„服务位置统规则。通过链接来提供服务，每个服务器都通过链接“域名”向外提供标准检索服务，而此服务器上主类名为“反顺序域名”。如华中科技大学域名为,则其服务器通过链接向外提供校内各种资源检索服务，而此服务主类名为。三主要问题和挑战标准化问题。作为个公共搜索系统，标准协议制定和实施关键。„要成为个“事实上标准”，就是要应充分考虑协议可实施性和具体推广工作。„要成为个“权威标准”，加强和等标准化组织联系合作。实施问题。„采用此系统激励机制何在系统以“域”为基本单位分层式结构为系统实施找到了基本需求。在最底层建立了校园网企业网内资源网页搜索引擎，更高层系统可为地区国家级基础信息平台建设提供方案。„由于其它域如下并不像下那么组织有序，在系统建立时必须因地制宜，灵活地应用该系统基本规则。例如有国家地区可能所有网页数据并不是很多，构建种集中式搜索引擎就可完全满足要求。四今后研究方向„语义网研究。语义网实施中信息检索和网页设计之间矛盾是否能找到个折中方式。„互联网信息基础体系研究。利用体系结构去整合其它类型信息资源。“域内资源整合系统”正是为解决此问题提出。小结主要工作„利用了分层分布式基本结构，确定了种清晰信息管理系统基本结构，可以解决“覆盖率”和“更新率”问题。„在不同层次应用三种不同结构检索系统，解决了“海量数据”存储索引和管理问题。„利用分布式体系将整个系统连成个有机整体。为信息智能化处理提供了基础性平台，为解决“准确率”问题提供了有效途径。提供了套较为完整公共开放式信息检索平台，并具有较好可实施性。！逐层递交方式可以保证整个系统数据每天更新，这样更新率问题就得到了很好解决。„但是按照这种方法，顶层服务器数据存储量可能依然很大，我们可能不得不采用分布计算等复杂技术来保障顶层服务器数据存储和检索服务质量。„要建立个可以“镜像”整个数据系统几乎是不可能,必须采用其它方式来完成此任务。相关技术按照基本体系结构划分，目前已有三种不同类型信息检索系统集中式检索系统。这种系统拥有自己数据采集装置，所有数据都存储并索引在个数据库系统中。如当前网页搜索引擎。元数据采集系统。其采用从各个小子数据库中采集元数据并整合到个系统方式构建信息检索系统。这类系统没有自己数据采集模块，仅存储起索引功能元数据，比较常用如系统。分布式检索系统。分布式信息检索系统中各个子数据库系统分别提供符合统标准信息检索接口，执行信息检索时由总系统负责协调各个子数据源完成检索请求。著名如基于网页搜索引擎华中科技大学王亮报告大纲„搜索引擎遇到主要问题„二我们解决方案„三主要问题和挑战„四今后研究方向搜索引擎遇到主要问题„覆盖率。没有个搜索引擎能够覆盖超过互联网全部网页。„更新率。平均更新周期个月。„检索结果准确率问题。上万条检索结果意义并不是很大，且存在很多无关重复检索结果。问题根源„覆盖率和更新率问题分布式和搜索引擎集中式结构之间矛盾。网络等基础条件等方面限制，动态特性，当前搜索引擎很难跟踪每处变化。„准确率问题格式不可读性以及人工智能发展滞后。解决问题方向和思路„覆盖率和更新率问题采用地域上分布式体系结构。„准确率问题有待语义网和人工智能技术发展分布式搜索引擎研究„以为代表分布式搜索引擎研究。如东京大学，挪威科技大学相关研究。均以服务器作为检索基本单位进行联合检索。„分布式搜索两个难题要有合适体系结构。目前式体系结构难以保证检索质量和速度等基本要求，而过于集中又要遇到当前搜索系统覆盖率更新率等问题。要有明确实施需求和激励机制。作为个分布式系统，其管理和建设必然是由不同单位组织负责，如果各个单位组织不能从系统实施中受益，而仅仅是强调共享，技术再先进也只会是纸上谈兵。体系结构选择问题„分散与集中式体系相结合可能是解决两种体系问题关键。而分层分布式体系给了我们基本启发。„如今几乎每个高校和大机构都有自己服务器，并与高层服务器协调配合，这种分层分布式体系使互联网上所有站点都能得到有效管理。„出于管理和效率等因素考虑也经历了从集中式到分布式转变。„结论这样分布体系是否适合建