几点考虑 通常来说，文档集相比测试集的其他组成部分起着更至关重要的作 用。由于当今领域的技术应用基本都面对，因此选取制作的文档集应该能 够很好的体现出真实环境所具有的特点。从而个高质量的文档集应该具有 非常广的主题范围，同时又具有相当的规模。般来讲，这两点在实际当中是相辅 相成的。和，等人针对文档集的代表性提出了三个问题 文档集应该使用静态的采集还是应该使用动态采集 这个文档集相对于父集的代表性有多大 能够满足般和特殊应用和研究的文档集的大小是多少 对于第个问题，我们倾向于采用静态的方式来采集构造大规模文档集的网 页。所谓静态的采集是指所有的网页在特定的段时间内抓取的而动态采集指的 是动态增量的搜试集是用来测试信息检索系统性能的套标准数据的集合。大规模数据集 是加速信息提取领域研究的基础。任何信息检索系统在大规模测试集上的性能表现 能够从定程度上体现出该系统在实际应用中的性能。任何信息通过维护个大规模的再现资源数据库来为用户提供搜索服务，它通常由搜集系统，索引系统以及相关性判断系统组成。当前最具代表性的搜 索引擎有百度和天网等。 测试集 测大 规模的信息资源，没有统的组织和规划，很难迅速有效的找到有用的信息。 ，即信息检索技术和搜索引擎则为这些问题提供了最有效 的解决方法。搜索引擎年增加,个，增长率为。 百度于年月日正式宣布，百度索引的网页数量已经达到亿。天网实验 室在今年年初的统计结果显示，目前中国国内的网页数量已经达到亿。如此亿万网页。而根据搜索引擎在年月索引网页 表明，网页数已经超过亿。根据截止到年月日的统计表 示，我国网站数已经达到,个，些技术细节。只需通过简单的方法就可以迅速 的取得丰富的信息资料。这种便利也促成了在日后的飞速发展。 在最近几年中，的规模直以极快的速度扩大着。年月，互联 网上大约有，还可以包含图 形图像动画声音和视频片断，这些媒体之间也使用超链接来组织。超文本和 超媒体技术为用户浏览信息提供了极大的便利，它使得用户在通过浏览器访 问信息资源的过程中，无须再关心统文本的线性组织方式，使超文本之间能够以链接组织到起。通过超链 接用户可以很方便的在超文本之间进行跳转，浏览相关的内容。这种文本的组织方 式更接近人们的思维方式和工作方式。超媒体不仅可以包含文字技术。 的核心是超文本和超媒体技术。超文本 与普通文本的不同点就在于超文本中加入了指向其他超文本的超链接， 打破了传提出 的。于年在自己编写的图形化浏览器 上显示了最早的页面。随后在年，正式发布 了最为成 功的服务。最初是在年月，由欧洲量子物理实验室 的物理学家谢第章引言 与搜索引擎 是的简称，中文名字为万维网。它是 种基于的主从结构分布式网络信息系统，也是目前应用范围最广且的抓取 后期处理 第四章的统计数据 规模统计 网站域名统计 网页形式分类 分省网页统计 第五章总结 参考文献 致文档集构造的几点考虑 文档集的概况 第三章文档集的构造 中文网页分布特点 种子站点的基本选取 垃圾站点过滤 网页目录 第章引言 与搜索引擎 测试集 和测试集 中文测试集 第二章文档集的设计原则 , , , ,目录 第章引言 与搜索引擎 测试集 和测试集 中文测试集 第二章文档集的设计原则 文档集构造的几点考虑 文档集的概况 第三章文档集的构造 中文网页分布特点 种子站点的基本选取 垃圾站点过滤 网页的抓取 后期处理 第四章的统计数据 规模统计 网站域名统计 网页形式分类 分省网页统计 第五章总结 参考文献 致谢第章引言 与搜索引擎 是的简称，中文名字为万维网。它是 种基于的主从结构分布式网络信息系统，也是目前应用范围最广且最为成 功的服务。最初是在年月，由欧洲量子物理实验室 的物理学家提出 的。于年在自己编写的图形化浏览器 上显示了最早的页面。随后在年，正式发布 了技术。 的核心是超文本和超媒体技术。超文本 与普通文本的不同点就在于超文本中加入了指向其他超文本的超链接， 打破了传统文本的线性组织方式，使超文本之间能够以链接组织到起。通过超链 接用户可以很方便的在超文本之间进行跳转，浏览相关的内容。这种文本的组织方 式更接近人们的思维方式和工作方式。超媒体不仅可以包含文字，还可以包含图 形图像动画声音和视频片断，这些媒体之间也使用超链接来组织。超文本和 超媒体技术为用户浏览信息提供了极大的便利，它使得用户在通过浏览器访 问信息资源的过程中，无须再关心些技术细节。只需通过简单的方法就可以迅速 的取得丰富的信息资料。这种便利也促成了在日后的飞速发展。 在最近几年中，的规模直以极快的速度扩大着。年月，互联 网上大约有亿万网页。而根据搜索引擎在年月索引网页 表明，网页数已经超过亿。根据截止到年月日的统计表 示，我国网站数已经达到,个，年增加,个，增长率为。 百度于年月日正式宣布，百度索引的网页数量已经达到亿。天网实验 室在今年年初的统计结果显示，目前中国国内的网页数量已经达到亿。如此大 规模的信息资源，没有统的组织和规划，很难迅速有效的找到有用的信息。 ，即信息检索技术和搜索引擎则为这些问题提供了最有效 的解决方法。搜索引擎通过维护个大规模的再现资源数据库来为用户提供搜索服务，它通常由搜集系统，索引系统以及相关性判断系统组成。当前最具代表性的搜 索引擎有百度和天网等。 测试集 测试集是用来测试信息检索系统性能的套标准数据的集合。大规模数据集 是加速信息提取领域研究的基础。任何信息检索系统在大规模测试集上的性能表现 能够从定程度上体现出该系统在实际应用中的性能。任何信息系统只有在通过大 规模测试集上的测试并给出满意的结果后，才能进入实际应用。由此也可看出，大 规模测试集和评测是改进信息检索技术和信息检索系统的关键。 个完整的测试集由三部分组成文档集查询集和相关判断集。文档集是 组文档的集合，该组文档的内容用来被信息检索系统进行文字分析。它是信息系 统评估的数据基础。查询集是向信息检索系统提出的问题的集合。这些问题依据信 息检索系统和所需进行评估的项目不同，可以是个或组关键词，也可以是段 描述。通常这些问题由建立相关判断集的人员来制作。由于相关判断集的制作非常 耗费时间，所以这些问题的数量通常控制在几百个左右。相关判断集是对应查询集 中问题所给的组展示在处理实际问题的检索方法上的实质改进，加快技术从研究到商 业化的转变速度 发展适当缺据应用性的评估技术，供各界遵循采用，包括开发更加适用于 现有系统的新的评估技术。 从开始，开始使用测试集完成评估工作。测 试集的特征如下 抓取域名下的网站年早期 在抓取百万格式的网页后停止 还包括格式的文本和从，和文件中提取的文本 为像基于链接的排序这样的应用提供了重复表和重定向表 单文件大小限定在以内从降低到 严格的文件检查没有二进制文件比的文档数更少，但更大的平均文当大小。 测试集统计信息 文档数 依据服务器提供的类型 , , , , 其他文本文档 包, 总大小, 平均包大小 平均文档大小, 文档限制大小实际上约 空文档 中文测试集 是由北京大 学网络与分布式实验室天网组制作的针对于中文信息检索领域的中文测试 集。它根据天网搜索引擎截止年月日发现的中国范围内提供服务的 个主机，从中采样,个站点，在年月搜集获得个 网页，包括网页内容和服务器返回的信息，容量为。其中每个网页对 应的服务器返回信息中的类型都是或者。 数据集从年月日开始提供下载。在中文信息检索领 域，得到了广泛的应用，截至年月申请该测试集的研究机构已经超过家，连续两年年和年被中文信息检索评测和 信息检索评测指定为测试集。第二章文档集的设计原则 文档集构造的几点考虑 通常来说，文档集相比测试集的其他组成部分起着更至关重要的作 用。由于当今领域的技术应用基本都面对，因此选取制作的文档集应该能 够很好的体现出真实环境所具有的特点。从而个高质量的文档集应该具有 非常广的主题范围，同时又具有相当的规模。般来讲，这两点在实际当中是相辅 相成的。和，等人针对文档集的代表性提出了三个问题 文档集应该使用静态的采集还是应该使用动态采集 这个文档集相对于父集的代表性有多大 能够满足般和特殊应用和研究的文档集的大小是多少 对于第个问题，我们倾向于采用静态的方式来采集构造大规模文档集的网 页。所谓静态的采集是指所有的网页在特定的段时间内抓取的而动态采集指的 是动态增量的搜集，即在任何时间搜集到的网页都可以随时添加到大的文档集当 中。虽然对于搜索引擎来说，动态增量的采集方法更为灵活并且效果更好，但是动 态的采集策略却会给文档集的构造带来麻烦。首先，增量搜集会给文档集消除冗余 带来麻烦。在下文将可以看到，的构造过程中，采用了来判断和消 除数据集内重复的网页。由于需要对比所有网页的值来判断数据集内网页是 否重复，因此这种方法的计算量是非常大的。如果采用动态的采集方法，对于每次 的增量采集，采集到的集合中都可能包含与文档集中相重复的网页。因此，每当要 把搜集到的网页添加到文档集当中，都必须进行次消重操做，这会导致数据集构 造构成对系统资源的需求增加，同时延长数据集构造的时间跨度