万方数据杭州电子科技大学硕士学位论文目录摘要目录第章绪论课题背景个性化信息检索与推荐的国内外现状研究意义本文的主要工作本章小结第二章个性化检索相关技术信息检索技术网络爬虫技术网络爬虫体系结构网络爬虫搜索策略网页信息结构化索引技术前向索引倒排索引搜索结果排序技术序先根据查询关键字得到系列相关的文档，然后计算这系列文档的相关度,或者评分，最终以此为依据进行排序得到结果集。目前最常见的搜索结果排序算法有以下两种。算法算法通过入链数来衡量个网页的重要性。入链数表示有多少页面指向了当前页面。般认为，当前页面的入链数越大，那么当前页面就越重要。的核心思想，可以用式来表示,万方数据杭州电子科技大学硕士学位论文,万方数据杭州电子科技大学硕士学位论文万方数据杭州电子科技大学硕士学位论文目录摘要目录第章绪论课题背景个性化信息检索与推荐的国内外现状研究意义本文的主要工作本章小结第二章个性化检索相关技术信息检索技术网络爬虫技术网络爬虫体系结构网络爬虫搜索策略网页信息结构化索引技术前向索引倒排索引搜索结果排序技术序先根据查询关键字得到系列相关的文档，然后计算这系列文档的相关度,或者评分，最终以此为依据进行排序得到结果集。目前最常见的搜索结果排序算法有以下两种。算法算法通过入链数来衡量个网页的重要性。入链数表示有多少页面指向了当前页面。般认为，当前页面的入链数越大，那么当前页面就越重要。的核心思想，可以用式来表示其中表示页面的值，表示所有指向页面的页面。式表示个网页的重要性等于所有指向它的网页的重要性总和。算法核心思想很简单，但在具体实现上却并不简单，需要多次迭代来确定最终的评分值。算法算法是由康奈尔大学的乔恩克莱因伯格在年提出的。对于用户输入的查询词，系统将对返回的相关页面计算两个值个是枢纽值，另个是权威值。枢纽值是指该页面内包含的链接所指向页面的权威值之和，权威值是指所有包含该页面链接所在页面的枢纽值之和。算法的基本思想是枢纽值和权威值具有相互增强的关系。算法步骤上般是先给定个初始根集，根据该集合内页面的出度和入度建立个矩阵，然后对该矩阵循环地进行迭代运算，在迭代过程中不断地对枢纽值和权威值进行更新，直到枢纽值和权威值达到自定义的收敛阀值。用户模型当前的信息检索技术已经不仅旨在满足所有用户对查询关键词的要求，还需要能针对每个用户的不同特点例如兴趣偏好提供服务，而这恰恰需要用户模型的支持。万方数据杭州电子科技大学硕士学位论文用户模型概述用户在进行信息检索时，总是希望能够准确而又全面地获取到所需要的信息。为了使信息检索服务能更加符合用户的个性化需求，这就需要获得用户的兴趣偏好，挖掘出用户行为中的潜在信息，而用户建模技术正是解决了这问题。用户模型是针对用户个人偏好,建立的模型，也称为“用户兴趣模型”，主要用于发现并记录个体用户的需求偏好，对每个用户的历史操作行为和基本信息进行管理。自然地，要得到用户模型就需要个建模的过程，该过程般是从相关用户的兴趣偏好和行为信息中归纳出可计算的特征，以此来建立模型，然后对用户偏好进行管理和更新。用户用户模型与信息检索系统的关系如图所示。使用用户用户模型检索系统初始化反馈优化图用户用户模型与检索系统的关系图检索系统在引入了用户模型之后，信息检索过程的侧重点将不仅仅考虑信息本身，还会考虑用户的兴趣偏好等因素，并对用户的反馈信息进行归纳总结，来完善用户模型，从而可以提供更高质量的检索服务。用户模型在检索系统中的作用在检索系统中，用户模型主要有如下作用管理用户个人信息对用户的基本信息进行管理，如用户名用户密码以及用户个人信息等。管理用户偏好这是用户模型的主要作用。当用户查询频繁地呈现出项特征时，用户模型就会将该特征进行处理，映射为用户的个偏好，最后对用户模型进行新偏好的增加或者对原有的偏好进行更新。管理用户历史查询行为用户的历史查询行为对检索系统来说，是提高检索质量的个重要参考。本章小结本章主要介绍了个性化信息检索的相关技术。从信息检索角度，主要阐述了网络爬万方数据杭州电子科技大学硕士学位论文虫技术索引技术搜索结果排序技术和网页信息结构化技术，并且对这些技术涉及的相关算法和策略做了简单介绍。从个性化角度，主要阐述了用户模型及其在信息检索系统中的作用。万方数据杭州电子科技大学硕士学位论文第三章基于用户偏好模型的个性化房地产信息检索用户偏好挖掘用户偏好挖掘是指在用户的查询行为和用户对查询结果的操作中获得用户的偏好信息，而用户偏好模型的第步就是寻找及时准确的获取用户偏好的方法。现在获取用户偏好与信息需求的方法主要有两种显式反馈和隐式反馈。用户偏好的显式反馈显式用户反馈是用户偏好挖掘中的经典方法，它直接与用户进行显式的交互而获取用户数据。早期的用户反馈技术原本是用于文本信息检索，这种方式的典型流程是在系统中预先设定好偏好，提供模板，让用户选择其中的关键词或者开放式地回答些问题，但是成功的前提是用户的积极配合，需要很高的用户参与度。以房地产信息检索系统为例，如果使用显式反馈的方式，般是在用户注册完之后，再让该用户提交些偏好信息，比如对房价户型朝向和楼层等的需求信息。显式反馈的最大优点就是简单有效。但是用户并不定具有完成这项任务的前提条件，这种方式要求用户首先要有定的互联网经验，而传统的购房者更倾向于实地参观楼盘调研比较，其次用户就算具有相应的技能也不定有充足的时间精力来完成这项工作，再次由于这种方式因为语言表达和分类的不确定性和含糊性，这种方法不定能准确获取用户需求。最后由于用户的兴趣偏好并不是固定的，如果用户的偏好改变了但是没有及时提交给系统，系统就无法获取用户的最新偏好，也就无法根据用户的新偏好向其提供所需的信息，最终导致系统的性能受到影响。用户偏好的隐式反馈由于显式反馈的方式会给用户带来额外的负担，业界需要突破传统的思维，人们开始尝试隐式反馈的方式挖掘用户偏好。隐式反馈的最大优点就是不需要用户显式地参与互动，是通过在后台记录用户的行为数据，挖掘出用户的偏好，以此在减轻用户负担的前提下改进检索质量。但隐式反馈也有不足之处根据相关实验验证，隐式反馈所获得的反馈信息，其质量即相关性要低于显式反馈。现有的隐式反馈技术的主要方法是获取用户的各种痕迹信息，例如点击网页链接保存网页地址等，通过分析这些操作习惯来改进检索质量。在技术上，隐式挖掘用户偏好的途径主要有以下三种跟踪分析用户浏览行为用户浏览行为指的是用户对每个页面的操作，比如点击超链接保存图片下载万方数据杭州电子科技大学硕士学位论文附件等，与在每个页面驻留的时间。般来说用户会在自己感兴趣的页面进行长时间的浏览，并且为了以后的再次直接访问而将页面加入收藏夹，为了区别长时间的挂机行为与感兴趣的浏览行为，需要将驻留时间与操作次数同时关联。但是用户收藏的网页只是其上网页面的很小部分，用户并不会将所有感兴趣的页面保存下来，所以仅对在收藏夹中的网页进行分析也是不能全面地反映用户的兴趣，但收藏夹中的网页能对分析用户的短期兴趣偏好提供重要的参考。与用户收藏下载的页面相比，在用户历史记录中的页面更为全面，更重要的是用户浏览的网页是由浏览器自动保存的，而不需要提高额外的功能，更加友好。但是对历史记录的分析比较混乱，用户打开的页面并不定是自己感兴趣的，偶然性地打开，如自动弹窗诱导性的网页等等，因此对于这种不相关的噪音需要有定的措施来进行区分。服务器端挖掘以上分析的数据都是针对客户端中的保存记录，同样地还可以针对服务器中的日志文件来进行分析。对服务器中的数据进行分析有着更多的优点，因为统计的波动性，我们需要大量的数据进行分析，而服务器集中了所有我们需要的对象，通过大数据分析，我们可以更加深刻的理解用户的行为，甚至突破传统的思维习惯。服务器端挖掘的缺点是由于服务器不能记录用户的缓存记录而不能全面体现用户的行为而使数据具有定的瑕疵。