1、“.....个主机，通过系列处理和过滤后得到，站点。然后 对这些站点进行网页搜集，每个网站的搜集深度为，单个网站搜集的数据量不 限，得到初始数据集。所有搜集的网页都具有或者的属 性。然后针对得到的原始数据集进行后期处理和采样，得到容量为的 的测试集，共包括，个站点，个网页。本科毕业论文评语 学生姓名秦琦学号成绩 论文题目中文测试集之文档集的构建 指导教师意见 秦琦同学的毕业设计论文工作涉及信息检索领域中评测集的构建工作， 针对中文信息检索评测的需求，构建了 文档集。目前该测试集已经用于 中文信息检索评测......”。

2、“.....该测试集的第二版不仅相对于在容量上提高倍，还 针对中存在的问题，加入垃圾站点过滤和网页级别的重复内容过 滤，并采取新的网页抓取策略，在提供更大的信息量的同时，保证整个数据集 的内容质量。 论文对于的种子站点列表制作垃圾站点消除抓取策略和 后期的消重采样工作进行介绍。特别对于制作过程中不同于的步 骤进行了重点分析与讨论。 毕设期间，秦琦同学工作努力，态度积极，按计划完成了任务，表现出 定的自主研发能力和较强的动手能力。 指导教师签字 年月日 摘要 在信息检索领域中，信息检索系统评估对于信息检索系统的研究开发和应 用有着显著的影响。大规模的测试集被认为是 ， ......”。

3、“..... ， ， ， 信息检索系统评估工作的基础，其质 量决定着评估工作的效率和评估结果的准确定。 系列测试集是北京大学网络实验室面向中文信息检索评估而制作的大 规模网络测试集。该测试集的第二版不仅相对于在容量上提高 倍，还针对中存在的主要问题，加入垃圾站点过滤和网页级别的重复 内容过滤，并采取新的网页抓取策略，在提供更高的信息量的同时，保证整个数据 集的内容质量。本文首先对搜索引擎以及当前被广泛使用的测试集进 行介绍，然后在对上网页分布特点进行分析的基础上，系统介绍了 的种子站点列表制作垃圾站点消除抓取策略和后期的消重采样工作进行介 绍。特别对于制作过程中不同于的步骤进行了重点分析与讨 论。最后，本文对以上工作进行了总结和展望......”。

4、“.....文档集 ， ， ， 依据服务器提供的类型 ， ， ， ， 其他文本文档 包， 总大小， 平均包大小 平均文档大小， 文档限制大小实际上约 空文档 中文测试集 是由北京大 学网络与分布式实验室天网组制作的针对于中文信息检索领域的中文测试 集。它根据天网搜索引擎截止年月日发现的中国范围内提供服务的 个主机，从中采样，个站点，在年月搜集获得个 网页，包括网页内容和服务器返回的信息，容量为。其中每个网页对 应的服务器返回信息中的类型都是或者。 数据集从年月日开始提供下载。在中文信息检索领 域，得到了广泛的应用，截至年月申请该测试集的研究机构已经超过家......”。

5、“.....第二章文档集的设计原则 文档集构造的几点考虑 通常来说，文档集相比测试集的其他组成部分起着更至关重要的作 用。由于当今领域的技术应用基本都面对，因此选取制作量采集的过程会使特定搜集策略对网站规模的估计失效，从而给文档集的构造带来意想不到的结果。再 次，增量采集的时间跨度比静态采集的时间跨度更大，因此制作出来的文档集更容 易被网站内容在时间上的变化所影响。而实际中，我们更希望文档集是在 特定时间点上的子集，因此时间跨度相对较小的静态采集才是首选。 对于第二个问题，要使文档集能够具有代表性，首先要让文档集具有定规 模，能够容纳下相当数量的网页。天网实验室孟涛同学在年初已经收集到的 属于中国的网页已经达到亿之多......”。

6、“.....然而，从另个角度说，如果味增大测试集的规模，将会使 相关判断集的制作非常消耗人力。因此我们必须在代表性和规模之间作出权衡。其 次，这个大规模的数据集必须能够比覆盖尽可能多的主体，保持内容上的多样性。 相比的数据集的抓取仅仅局限在的域名下，数据集的抓取范 围仅仅做了很小的约束。目前所搜集的网页都是在中国范围内的网页包含英 文网页。仅从这点上，就保证了能有更好的主题覆盖范围。另外，相对于 ，在网页采集过程中还加入了动态网页的搜集，并采用了系 列策略来保证能够很好的体现网站规模的同时，避免抓取的网页全部集中在很少的 网站上。从而尽可能覆盖更多的网站，以达到提高内容多样性的目的。 对于第三个问题，文档集大小的设定......”。

7、“..... 由于在年初，的硬盘的价格已经达到可以接受的范围，因 此，我们将数据集的规模设定在，同时为了能提供更多的信息，我们在保 存的时候使用了压缩的天网格式。 文档集的概况 根据天网搜索引擎在年月份搜集网页所发现的中国范围内提供 的文档集应该能 够很好的体现出真实环境所具有的特点。从而个高质量的文档集应该具有 非常广的主题范围，同时又具有相当的规模。般来讲，这两点在实际当中是相辅 相成的。和，等人针对文档集的代表性提出了三个问题 文档集应该使用静态的采集还是应该使用动态采集 这个文档集相对于父集的代表性有多大 能够满足般和特殊应用和研究的文档集的大小是多少 对于第个问题，我们倾向于采用静态的方式来采集构造大规模文档集的网 页......”。

8、“.....即在任何时间搜集到的网页都可以随时添加到大的文档集当 中。虽然对于搜索引擎来说，动态增量的采集方法更为灵活并且效果更好，但是动 态的采集策略却会给文档集的构造带来麻烦。首先，增量搜集会给文档集消除冗余 带来麻烦。在下文将可以看到，的构造过程中，采用了来判断和消 除数据集内重复的网页。由于需要对比所有网页的值来判断数据集内网页是 否重复，因此这种方法的计算量是非常大的。如果采用动态的采集方法，对于每次 的增量采集，采集到的集合中都可能包含与文档集中相重复的网页。因此，每当要 把搜集到的网页添加到文档集当中，都必须进行次消重操做，这会导致数据集构 造构成对系统资源的需求增加......”。

9、“.....其次，增量采集 很可能导致对网站大小的估计，因而影响采样。文档集构造的个核心问题就 是对于文档的采样策略。当前的采样策略都是基于网站规模的，如果采用增量搜集 的话，每次加入的网页可能会影响到站点下网页的多少，因而会影响到采样的结 果。对于整个文档集的构造来说，我们希望能够在通过定的搜集策略下，很好的 描绘出网站的大小，然后再针对于文档集进行采样。然而，增术。 的核心是超文本和超媒体技术。超文本 与普通文本的不同点就在于超文本中加入了指向其他超文本的超链接， 打破了传统文本的线性组织方式，使超文本之间能够以链接组织到起。通过超链 接用户可以很方便的在超文本之间进行跳转，浏览相关的内容。这种文本的组织方 式更接近人们的思维方式和工作方式......”。