TOP22【毕业设计】搜索引擎的信息覆盖率评测模型研究.doc文档免费在线阅读

验证由于搜集系统般以包含域名的来记录网页，我们要检验这些网页是否已被覆盖，应该将其转化算法上图中的正是我们用算法进行权值计算的对象。

对于中的任意个元素，设表示其目录型权值，表示其权威型权值是链到的网页是从链出的网页，则和可以从下面的式子计算同算法类似，我们可以将所有的网页的目录型权值看作矢量，将所有网页的权威型权值看作矢量，设样本中所有网页及链接关系构成的有向图的邻接矩阵为，们提出了通过随机产生来对进行取样的方法。

首先获得上已经分配使用的所有地址，假设共有个。

可以利用的分段将它们映射到到之间的个整数作为唯标记。

这样，我们可以利用随机算绝对广度优先的办法，从个顶点种子出发，逐渐扩展遍历，得到个网页集合作为样本，这是种从局部来进行取样的办法。

随机法在和和的工作中，他，仅从顶点的标记所对应的地址出发，可以采取随机产生的方法来获得个网页集合，从而得到样本，这种考虑基于全局的视点如果考虑到顶点之间的链接关系，则可以模仿搜索引擎搜集系统的工作方式，采取，再检查搜集系统的网页覆盖其中的比例，在检查过程中，必须对网页过滤，扔掉无法连接到的网页。

总体的工作流程大致如下图所示数量覆盖率我们可以从不同的角度来对来进行采样。

如果不考虑顶点之间的链接关系什么用双竖线因此，我们需要通过对随机取样获得网页样本需要采取些方法得到随机的重要网页集合，这通常要利用网页之间的链接关系来对网页进行权值估算在得到网页样本之后中的所有重要网页构成的连通子图，我们可以用随机的办法获得些重要网页组成的集合作为样本，来考察搜集系统覆盖中的子集所占样本容量的比例，作为近似的质量覆盖率，因此质量覆盖率的表达式为为考察中的顶点落在中所占的比例作为的近似值。

如果足够大或是随机性足够好，则非常接近于。

此时的即搜集系统的数量覆盖率。

我们可以用类似的思想去计算搜集系统的质量覆盖率。

考虑解释。

的相关属性在搜集过程中已得到，但是因为搜索引擎搜集网页的不完全性，的相关属性却只能去估计。

为了得到准确的信息覆盖率数据，我们采取对取样的方法，即采取随机的方式从中获得张子图则搜集系统所获得的网页集合是的强连通子图不定是强连通图每个顶点都有唯的标记。

则信息覆盖率的表达式为需要加句对公式的新浏览。

在本文的研究中，将对前面的两种进行详细的讨论和量化分析。

信息覆盖率评测模型我们定义搜集系统的信息覆盖率为它所收集的网页集合在中所占的比例。

考虑到的链接结构，将其视为张有向图得类似于等格式的网页。

因此，考察搜集系统对可视网上信息资源的覆盖率，也有着积极的意义。

它可以告诉我们当前所搜集到的网页当中，多大比例的部分能够在若干年后通过浏览器重维上的每个角落。

从信息的表现形式来看，搜集系统当前存储的信息中相当部分日后将是不可见的。

这方面是由于存储系统的资源所限，未能搜集类似于图片影音之类的大文档另方面是因为搜集技术的不成熟，无法获社会信息在每个重要主题上映射到上的部分，成为它的个有效特征子集。

类似于的系统如果将这些重要网页全部记录下来，以后就能通过历史网页回放来重现人类社会信息资源在时间和空间两在质量上对网页的覆盖程度显得尤为重要。

这指标可以告诉我们，对那些用户会感兴趣的重要的网页，系统覆盖了其中的百分之几。

从更深的层次来说，如果搜集系统覆盖了绝大多数的重要网页，它也就覆盖了当前础的网上信息博物馆的首要目标。

网上信息资源极为丰富，但也存在不少冗余，大量的广告页面和内容重复页面便是此例。

即使去除这些冗余后，用户感兴趣的网页通常也只是数以十亿计的数量中的极少数。

因此，考虑搜集系统统的网页搜集数量是，个，因此可以估计其数量覆盖率为百分之八十左右。

如果系统的数量覆盖率足够高，我们就可以认为它基本上覆盖了上的所有信息资源。

高的数量覆盖率应该是任何个搜集系统及以此为基源的覆盖程度。

搜集系统应该力图遍历的所有网页，在数量这角度上达到完全覆盖的程度。

这提供个衡量搜集系统覆盖信息能力的全局标准。

例如当前上的网页估计约为，个，系统源的覆盖程度。

搜集系统应该力图遍历的所有网页，在数量这角度上达到完全覆盖的程度。

这提供个衡量搜集系统覆盖信息能力的全局标准。

例如当前上的网页估计约为，个，系统的网页搜集数量是，个，因此可以估计其数量覆盖率为百分之八十左右。

如果系统的数量覆盖率足够高，我们就可以认为它基本上覆盖了上的所有信息资源。

高的数量覆盖率应该是任何个搜集系统及以此为基础的网上信息博物馆的首要目标。

网上信息资源极为丰富，但也存在不少冗余，大量的广告页面和内容重复页面便是此例。

即使去除这些冗余后，用户感兴趣的网页通常也只是数以十亿计的数量中的极少数。

因此，考虑搜集系统在质量上对网页的覆盖程度显得尤为重要。

这指标可以告诉我们，对那些用户会感兴趣的重要的网页，系统覆盖了其中的百分之几。

从更深的层次来说，如果搜集系统覆盖了绝大多数的重要网页，它也就覆盖了当前社会信息在每个重要主题上映射到上的部分，成为它的个有效特征子集。

类似于的系统如果将这些重要网页全部记录下来，以后就能通过历史网页回放来重现人类社会信息资源在时间和空间两维上的每个角落。

从信息的表现形式来看，搜集系统当前存储的信息中相当部分日后将是不可见的。

这方面是由于存储系统的资源所限，未能搜集类似于图片影音之类的大文档另方面是因为搜集技术的不成熟，无法获得类似于等格式的网页。

因此，考察搜集系统对可视网上信息资源的覆盖率，也有着积极的意义。

它可以告诉我们当前所搜集到的网页当中，多大比例的部分能够在若干年后通过浏览器重新浏览。

在本文的研究中，将对前面的两种进行详细的讨论和量化分析。

信息覆盖率评测模型我们定义搜集系统的信息覆盖率为它所收集的网页集合在中所占的比例。

考虑到的链接结构，将其视为张有向图则搜集系统所获得的网页集合是的强连通子图不定是强连通图每个顶点都有唯的标记。

则信息覆盖率的表达式为需要加句对公式的解释。

的相关属性在搜集过程中已得到，但是因为搜索引擎搜集网页的不完全性，的相关属性却只能去估计。

为了得到准确的信息覆盖率数据，我们采取对取样的方法，即采取随机的方式从中获得张子图考察中的顶点落在中所占的比例作为的近似值。

如果足够大或是随机性足够好，则非常接近于。

此时的即搜集系统的数量覆盖率。

我们可以用类似的思想去计算搜集系统的质量覆盖率。

考虑中的所有重要网页构成的连通子图，我们可以用随机的办法获得些重要网页组成的集合作为样本，来考察搜集系统覆盖中的子集所占样本容量的比例，作为近似的质量覆盖率，因此质量覆盖率的表达式为为什么用双竖线因此，我们需要通过对随机取样获得网页样本需要采取些方法得到随机的重要网页集合，这通常要利用网页之间的链接关系来对网页进行权值估算在得到网页样本之后，再检查搜集系统的网页覆盖其中的比例，在检查过程中，必须对网页过滤，扔掉无法连接到的网页。

总体的工作流程大致如下图所示数量覆盖率我们可以从不同的角度来对来进行采样。

如果不考虑顶点之间的链接关系，仅从顶点的标记所对应的地址出发，可以采取随机产生的方法来获得个网页集合，从而得到样本，这种考虑基于全局的视点如果考虑到顶点之间的链接关系，则可以模仿搜索引擎搜集系统的工作方式，采取绝对广度优先的办法，从个顶点种子出发，逐渐扩展遍历，得到个网页集合作为样本，这是种从局部来进行取样的办法。

随机法在和和的工作中，他们提出了通过随机产生来对进行取样的方法。

首先获得上已经分配使用的所有地址，假设共有个。

可以利用的分段将它们映射到到之间的个整数作为唯标记。

这样，我们可以利用随机算法产生小于的整数，得到个标记集合，再逆映射回到地址，即得到组随机样本。

如果搜集系统以域名标志网站地址，还需要将其转换为域名。

这种取样原理如图所示取样我们在研究工作中获得了中国国内已分配的所有地址分段个，例如至为其中个分段，被分配给北京大学使用。

如果统用点分十进制表示所有网络地址，则所有的分段可以表示如下其中，和都为到之间的整数。

可见这些分段不相交，统计出每个分段中的地址数量，则可以找到映射使得地址位于中的函数值为于是我们将每个都对应到个整数，便可以用随机算法在其中选取若干，逆映射转变为地址，便得到个地址集合。

去掉此集合中不提供服务包括与网络无连接的元素，就得到了个网站样本。

由于大约的网站通过端口提供服务，我们可以顺次扫描这些网络地址上的端口。

得到的存在服务的地址集合经反向域名解析便可得到样本集合。

通过对中国国内的进行随机取样并进行扫描，我们得到了如下结果编号随机数存在数表格中间线太粗，而且第三条应该是不可见的在上面的统计中，我们选取了多组不同数量的随机，得到的存在服务的地址数量与随机数大致成比例，说明选出的地址具有很好的随机性。

验证由于搜集系统般以包含域名的来记录网页，我们要检验这些网页是否已被覆盖，应该将其转化算法上图中的正是我们用算法进行权值计算的对象。

对于中的任意个元素，设表示其目录型权值，表示其权威型权值是链到的网页是从链出的网页，则和可以从下面的式子计算同算法类似，我们可以将所有的网页的目录型权值看作矢量，将所有网页的权威型权值看作矢量，设样本中所有网页及链接关系构成的有向图的邻接矩阵为，考虑到两个之间最多有个链接使得若存在网页到网页的链接则，否则那么上面的式子可以写成由此两式可得，即实际上是的特征向量同理是的特征向量，我们因此也可以用幂法或算法等来通过迭代来求得和的值。

但考虑到系统内存对初始样本容量的限制，若数量很大的时候需要分块对两个矩阵进行迭代。

试验结果在我们的研究工作中，我们没有通过计算特征向量而采取了根据前组公式直接进行迭