单位代码密级硕士学位论文论文题目面向海量数据环境的个性化推荐机制应用研究高斐宗平教授计算机应用技术分布计算技术与应用工学硕士二零四年三月学号姓名导师学科专业研究方向申请学位类别论文提交日期万方数据.万方数据南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档允许论文被查阅和借阅可以将学位论文的全部或部分内容编入有关数据库进行检索可以采用影印缩印或扫描等复制手段保存汇编本学位论文。本文电子文档的内容和纸质论文的内容相致。论文的公布包括刊登授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名日期研究生签名导师签名日期万方数据摘要个性化推荐系统从最初被亚马逊用于互联网购物中，提高了网站自身的用户忠诚度和企业销售额，到如今被越来越多互联网中的其他领域运用，其受重视也越来越高。个性化推荐系统通过分析用户的兴趣爱好，给用户进行有针对性的推荐。协同过滤算法是其最为广泛的推荐技术之。但是随着推荐系统中数据量的增大，协同过滤算法暴露出在数据稀疏性，冷启动，扩展性和实时性等方面的瓶颈问题。本文在研究协同过滤算法的基础上，提出了种改进的基于用户项目的兴趣变化的协同过滤算法。改进后的算法，考虑到人类的遗忘规律，引入了非线性的时间遗忘函数，给予用户在不同时间段的评价的不同权重，突出最近评价对推荐结果的重要性在概念分层的基础上，设定项目评分阀值，缩减用户项目评分矩阵，建立候选的数据集，以提高推荐算法的可扩展性进行根据用户的兴趣偏好进行数据填充，平衡用户兴趣偏好，评分矩阵和项目客观特征属性，预测的评分值更能匹配用户的真实兴趣爱好，有效降低了数据稀疏性和冷启动问题带来的缺陷。本文使用数据集，对改进后的算法和传统的协同过滤算法进行对比实验。实验结果表明，改进后的协同过滤算法比传统的协同过滤算法具有更好的准确性和完整性，能有效提高推荐结果的质量。关键词个性化推荐协同过滤数据稀疏性冷启动万方数据,.，万方数据目录第章绪论课题研究背景与意义研究现状本文的主要工作与组织结构.第二章推荐系统及相关技术推荐系统.推荐系统的定义推荐系统的作用.推荐系统的结构推荐系统的技术.基于规则的推荐基于内容的推荐基于协同过滤的推荐基于混合算法的推荐.推荐技术的优缺点本章小结.第三章协同过滤算法的研究协同过滤算法概述.协同过滤算法原理与历史协同过滤算法步骤.协同过滤算法的应用基于内存的协同过滤算法.基于用户的协同过滤算法基于项目的协同过滤算法基于模型的协同过滤算法.协同过滤算法中存在的问题.数据稀疏性冷启动问题可扩展性实时性.协同过滤算法的改进策略本章小结.第四章协同过滤算法的改进问题的提出时间效应.时间窗技术遗忘函数技术改进的非线性遗忘函数.缩减数据集.缩减数据集的方法概念分层建立用户项目评分候选矩阵.万方数据算法描述.基于用户兴趣的偏好度评分预测.基于用户的兴趣偏好填充的思想.建立基于用户兴趣偏好填充矩阵.算法描述.改进的协同过滤算法本章小结.第五章实验与分析实验数据集和评估标准.实验数据集实验评估标准.实验方案实验结果与分析本章小结.第六章总结与展望总结展望.参考文献.附录攻读硕士学位期间撰写的论文致谢.万方数据南京邮电大学硕士研究生学位论文第章绪论第章绪论伴随着网络的普及和科学技术的迅猛发展，互联网已全面进入到我们生活的各个角落中，影响着我们的生活状态。然而，当海量的信息以指数级的速度在增长时，人们也越来越茫然于什么才是自己最需要的内容，什么才是自己现在最想得到的信息。由于我们无法从浩瀚的数据信息中迅速而准确的找到自己的所需，所以如何实现面向海量数据环境的个性化推荐机制已成为人们研究的热点之。.课题研究背景与意义在互联网通信技术的发达和智能手机的普及的背景下，互联网用户人数保持持续不断的扩大趋势，而用户的上网习惯也在逐渐发生迁移，人们如今不仅限于通过电脑来浏览信息，购买商品，而通过手机随时随地的上网也成为种新型的方式。截止年月，第次互联网发展研究报告显示，互联网用户整体数量达到.亿，较年底提高。其中，在新增的新互联网用户中，的新用户通过手机上网，远远高于其他设备的上网比例。在这信息爆炸的时代，如何缓解这种“信息过载”的问题，成为了个必要解决的问题。尤其，当新用户初次使用互联网时，需要帮助他们从浩瀚的信息中解救出来，降低他们的盲从感，更快的做出决策，以适应互联网的环境。搜索引擎，如，的出现，定程度上缓解了这样的矛盾，但是他们仍然无法做到“千人千面”，只能实时的通过关键词进行搜索。搜索成为用户找到自己所需信息的种快速渠道，而通过用户在网上的行为习惯，我们能搜集到他们的数据，判断出他们的喜好，帮他们找到他们最迫切想要的信息。在这样的需求下，针对用户个人特征属性的个性化推荐系统也随之受到关注。个性化推荐系统是目前互联网时代信息爆炸的必然结果，是未来基于用户推荐服务的个发展趋势。每个商品都有属于自己的“基因”，个性化推荐系统就运用类似的理念推荐产品。“基因”从生命科学角度进行解释，表示所有生命现象的最基本的因子构成了个生物物种。那么，和产品类似，每个产品的产品本质构成了这个产品独无二的外在。用个例子来解释，超市中正在售卖的个水杯，是陶瓷的，椭圆形，无盖，米白色，元人民币，产地日本，膳魔师品牌。这些产品的“基因”决定了这个水杯的外在，因此用“基因”的概念描述其属性水杯陶瓷，椭圆形，无盖，米白色，元，日本，膳魔师。而陶瓷，椭圆形，无盖，米白色，元，日万方数据南京邮电大学硕士研究生学位论文第章绪论本，膳魔师正是该商品的基因。在电子商务领域，个性化服务已经率先得到应用，包括亚马逊，淘宝，都在进行个性化的尝试。而近年来，新闻领域，如网易，采用项目项目的协同过滤算法，通过用户浏览的关键字，类目等信息，给用户推送针对其个人本身的相关热门新闻在音乐领域，例如豆瓣，个典型的采用协同过滤算法的服务，其核心思想就是按照音乐的独有属性给各个音乐贴上分类标签，并通过找到相似用户的喜好来进行推荐。而用户首次登陆时，选择自己感兴趣的音乐分类，然后网站通过收集用户在收听音乐时的“喜爱”，“垃圾箱”的点击行为，进行权重判断，更加精准的实时进行音乐推荐，该网站也因此成为音乐领域的个口碑的个性化网站。随着未来的互联网信息和用户个性化的需求发展趋势，个性化推荐系统的研究也将受到越来越多的重视，尤其在电子商务领域。电子商务领域有针对个性化研究的必然需求，其本身的特点也将使对个性化的研究有天然优势。它的主要特点有丰富的用户数据用户的搜索行为，个人信息包括年龄，地域，消费水平，购买记录，这些数据都能用于在为算法建立模型和测试评估效果时，产生重要的意义。收集数据形式的电子化数据对于推荐系统的准确性是至关重要的。而电子商务领域通过对数据电子化方式的收集，能够加快数据预处理的能力，该模式也减少了手工处理的时间，降低了其中的误差。随着数据量的增加，电子化收集也更能全面有效的收集数据。推荐效果易于评估通过，进行定性分析，用户的点击率，收藏率，下单购买率都能进行全方位的对系统进行评估，能及时的对用户个性化推荐做出改进。针对用户的个性化推荐系统的研究，不论在理论和实际应用方面，都将给互联网用户和行业带来重要的意义，尤其是在目前用户最主要的上网行为的电子商务领域和视频音乐领域中。在理论研究领域，由于信息的增多和用户需求的需要，个性化推荐系统的研究具有重要的学术意义。首先，从上个世纪年代开始，包括国内和国外的研究人员就开始关注个性化推荐技术这个领域，并将该技术应用到实践中。相对于传统的用户行为，用户在搜索引擎中输入相同的关键字，并不会因为用户的个人属性不同而输出不同的搜索结果，因此对用户进行个性化的定制相较于传统的互联网模式更能符合用户的网上行为需求。目前，在推荐技术中，协同过滤算法被较多的应用，其根据用户的兴趣爱好，用户行为的相似性进行推荐，该算法具有很好的推荐结果，同时也能帮用户找到相似用户群体，帮助他们能够发现自己潜在的兴趣爱好，和可能需要的信息。协同过滤算法已被广泛的应用于电子商务领域，它能够自动化，个性化的给用户提供服务，有很好的运用价值。然而协同过滤算法也有其自身需要克服的难点，例如在万方数据南京邮电大学硕士研究生学位论文第章绪论前期的数据冷启动，数据稀疏性，到数据迅速扩张后的扩展性等问题。这些问题需要通过不断地改进算法，以能更好的适应互联网应用的发展。在实际应用领域，信息的快速发展和人们日渐强烈的需求，已经在潜移默化的影响着人们的传统生活习惯，网上购物，和在线听音乐和看视频越来越被大众接受，因此个性化的推荐系统具有很强的实际意义。通过个性化推荐系统可以将用户从海量信息中解放出来。现在，网上购物的人越来越多，用户迫切需要在海量的商品中，找到自己感兴趣的信息，而推荐技术使得用户不需要把时间浪费在如何挑选适合的商品或者内容上，同时推荐技术还能帮用户发掘自己潜在的需求，为网站本身也提升了自我的价值和销售能力。对于企业来说，个性化推荐对他们也有积极的意义，它能提高用户对网站的忠诚度，将用户的浏览行为转化为购物行为，增强了网站自我的营收能力。因此，推荐系统具有在现今的互联网发展趋势中具有很强的实际应用价值。.研究现状推荐系统的研究最早从上世纪年代开始。年，美国明尼苏达大学的个研究小组，他们针对个的电影推荐系统进行了个性化的研究。早期的研究人员对个性化推荐系统的研究，都是基于项目本身属性的研究，具有定的局限性，当项目数量扩大后，无法满足算法的扩展性，随之系统的推荐结果的准确性也降低，因此之后产生了协同过滤的推荐算法。协同过滤算法的产生不仅改进了早期根据项目进行的推荐算法的缺点，同时也给整个推荐系统带来了积极的发展方向。协同过滤算法也逐渐成为个性化推荐系统领域中最常用和重要的推荐方法。关于个性化推荐系统，在年和提出了专门针对电子商务的个性化推荐系统的定义它是通过分析用户信息，电子商务网站引导用户浏览和购买商品，给用户进行模拟导购的过程，帮助用户完成购买决策的个系统。著名的电子商务公司亚马逊在年推出了针对购书的推荐系统，至此，成为个性化推荐系统领域最成功的代表。进入世纪以来，国内的研究学者也逐渐开始对个性化推荐