量聚类效果。其中类间离散性指两个类中心点之间距离。指标该指标值和聚类效果成反比，是种基于密度指标。通过类间万方数据杭州电子科技大学硕士学位论文密度和类内紧密性衡量聚类效果。人工评价方法通常采用多名语言学专家各自对词聚类结果做出评价，然后综合这些专家评价得出最终词聚类优劣程度。人工评价方法优点在于评价结果是基于语义分析，因此评价结果更加准确，。但是，这种方法也存在很大缺点，随着聚类词数量和类别增多，人工评价工作量将大幅增加，费时费力。同时，评价者主观因素也会影响评价结果，使结果出现偏差。机器评价方法评价标准是词类别类内距离最小化同时类间距离最大化聚类就是最优聚类结果。机器评价方法都是在向量空间模型基础上利用余弦角或欧式距离表示类内和类间距离。但是目前很多词聚类算法也是基于向量空间模型，由于聚类和评价都用到了同个模型，因此评价结果难以令人信服。本文研究内容针对传统评万方数据杭州电子科技大学硕士学位论文目录摘要目录第章绪论研究背景与意义研究现状及发展趋势词聚类算法研究现状词聚类评价方法研究现状本文研究内容本文组织第二章相关工作及研究进展网络爬虫基础技术网络评论爬虫架构去重文本预处理中文分词技术介绍聚类分析聚类方法介绍聚类评价方法词聚类介绍词特征表示特征选择方法基于语义相似度计算本章小结第三章评论主题词提取本文提出方法垃圾评论去除万方数据杭州电子科技大学硕士学位论文文本预处理去除停用词基于中文语法模式引入评论主题词提取模式主题词构成模式评论主题词提取高频主题词提取剪枝高频主题词提取低频主题词提取处理过程实验与分析实验数据结果分析本章小结第四章基于维基百科评论主题词聚类本文提出方法中文维基百科下载维基百科文章获取基于维基百科词向量空间模型生成词向量空间模型建立相似度计算方法词相似度矩阵生成主题词聚类算法实验及结果分析实验数据结果分析本章小结第五章总结与展望研究工作总结未来展望致谢参考文献万方数据杭州电子科技大学硕士学位论文第章绪论本文主要从互联网上评论飞速增长背景以及评论中信息聚类实用性，分析网络评论特性，研究网络评论主题词相似度，并对评论主题词进行聚类，从而使相似评论能够聚类以便于用户浏览。最后阐述了本课题研究必要性和合理性以及对各章节概要内容进行了说明。研究背景与意义随着信息传播手段进步，尤其是互联网这个新型媒体出现，使我们摆脱了信息贫乏桎梏，进入到个信息爆炸社会。在信息爆炸情况下，信息来源不再是问题，而人们现在主要关心问题就是如何能够快速准确获取自己感兴趣信息。目前各种信息过滤检索提取，关联技术都是围绕这个目展开。由于网络上信息纷繁复杂，很多关联信息，通常孤立分布在不同地方，往往出现时间也是分散。现在般检索工具原理都是基于关键字进行搜索，返回信息冗余度高，很多不相关信息会作为结果集进行返回仅仅因为含有检索关键字。词汇作为能够独立运用最小语言单位，含义相近词汇通常在语法，语义，应用场景中表现出共性。词聚类就是根据词汇在这些方面特性，从而对词汇进行聚类。使得同聚簇中词汇之间距离近即相近语义，语法。不同聚簇中词汇距离尽可能远。词聚类技术个重要应用就是改善信息检索人机交互效率。面对巨大信息资源库，用户无法做到完全了解数据库，因此不能完全检索到自己想要信息。现在主流信息检索，是根据关键词返回结果集。如果用户面对个陌生信息资料库，就很难选定合适关键字进行检索。如果系统能够提供关键字聚类功能，即系统把资源库中与用户输入关键字语义相近数据也作为结果集返回。通过这种方式返回结果集往往召回率和准确率更高。随着词聚类技术发展，它还在主题抽取，语义消歧，信息检索，文本分类，信息聚类中发挥着重要作用，同时评论主题词聚类在实际应用中也越来越重要。研究现状及发展趋势关于词语分类问题，国内外许多学者都在不同层面，角度展开研究工作。目前比较著名词典有国内同义词词林国外。这些词典建立都是许多语言学专家们起构造出来，给出了每个词语近义词以及反义词。这类词典构建不仅需要语言学专家们有深厚文学功底，而且耗时多年。这类词典对于自然语言处理有着巨大应用价值。万方数据杭州电子科技大学硕士学位论文词聚类算法研究现状词聚类有两个需要解决问题相似度计算。选择合适聚类算法进行词聚类。国内外学者都从不同层面，角度展开了研究工作。接下来就目前主要词聚类算法进行介绍。年等人利用词典中上下位关系来计算词语相似度。其基本原理是在上下位分类体系中语义相似度和两个结点之间路径呈反比。如果两个词语之间存在多条路径，则使用最短路径衡量它们之间语义相似度。这个方法其中个假设就是，在分类体系中所有结点之间链接长度是相等。而实际中，不同分类体系中结点疏密程度不同，代表距离也不相同。和在年设计语义相似度不但和词语所在子类结点密度有关，还和词语在分类体系中深度有关。对于较密分类中结点之间距离更短。等人利用已分类好文档资源做词聚类。已分类好文档资源指是事先人工整理好分类文档资源，利用文档类从而建立词向量空间模型，把词语共现范围扩展到文档类。通过这种方法，以文档类作为特征维，词聚类聚类结果是基于文档集，反映了词语在文档集中分布情况，同时此方法也解决了数据稀疏问题。但是这种方法需要依赖个良好已分类语料库。等人通过搜索引擎利用互联网这海量数据资源从而进行词聚类。该方法首先统计目标词语在网页中两两之间共现次数，在这个基础上计算两个词语之间相似度。最终使用纽曼聚类算法进行词聚类。等人利用模糊聚类算法进行词聚类，并做了系列实验取得了良好效果。这种模糊聚类模型给每个词赋予多个维度，表示这个词归属于生成各个词类程度，以此来表现词语多义性，被广泛应用于词聚类中。词聚类评价方法研究现状目前，有很多评价聚类结果指标，其中最有代表性指标有种。接下来将进行详细介绍。系列指标该指标值与聚类效果成正比。该指标缺点是对于聚类数量不敏感，对于数据集中噪声数据比较敏感。同时随着聚类个数和数据量增加计算时间增长过快。指标该指标值与聚类效果成反比。该指标和系列指标都从数据之间几何聚类衡量聚类效果，不同点在于指标还考虑了类平均相似性。分割系数和类熵分割系数取值范围为其中表示是聚类个数。该指标值越接近，表示聚类效果越模糊，该指标值越接近于，聚类效果就越明确。该指标缺点是该指标只与隶属度相关。类熵指标与分割系数类似都是用于衡量聚类结果模糊程度。指标该指标值和聚类效果成反比。该指标通过类间离散性和类内紧密性衡量聚类效果。其中类间离散性指两个类中心点之间距离。指标该指标值和聚类效果成反比，是种基于密度指标。通过类间万方数据杭州电子科技大学硕士学位论文密度和类内紧密性衡量聚类效果。人工评价方法通常采用多名语言学专家各自对词聚类结果做出评价，然后综合这些专家评价得出最终词聚类优劣程度。人工评价方法优点在于评价结果是基于语义分析，因此评价结果更加准确，。但是，这种方法也存在很大缺点，随着聚类词数量和类别增多，人工评价工作量将大幅增加，费时费力。同时，评价者主观因素也会影响评价结果，使结果出现偏差。机器评价方法评价标准是词类别类内距离最小化同时类间距离最大化聚类就是最优聚类结果。机器评价方法都是在向量空间模型基础上利用余弦角或欧式距离表示类内和类间距离。但是目前很多词聚类算法也是基于向量空间模型，由于聚类和评价都用到了同个模型，因此评价结果难以令人信服。本文研究内容针对传统评,袁里驰，钟义信基于相似度词聚类算法微电子学与计算机,万方数据杭州电子科技大学硕士学位论文林丽基于语义距离文本聚类算法研究厦门大学,罗可数据库中数据挖掘理论方法及应用研究湖南大学,汤效琴，戴汝源数据挖掘中聚类分析技术方法微计算机信息万方数据杭州电子科技大学硕士学位论文万方数据杭州电子科技大学硕士学位论文附录作者在读期间发表学术论文及参加科研项目发表学术论文参加科研项目浙江省科技厅重大科技专项重点项目年月年月多媒体舆情分析系统研究与开发万方数据基于维基百科评论主题词聚类作者严文操学位授予单位杭州电子科技大学引用本文格式严文操基于维基百科评论主题词聚类学位论文硕士万方数据杭州电子科技大学硕士学位论文目录摘要目录第章绪论研究背景与意义研究现状及发展趋势词聚类算法研究现状词聚类评价方法硕士学位论文题目基于维基百科评论主题词聚类研究生严文操专业计算机技术指导教师姜明教授完成日期年月万方数据杭州电子科技大学硕士学位论文基于维基百科评论主题词聚类研究生严文操指导教师姜明教授年月万方数据,万方数据杭州电子科技大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明所呈交学位论文，是本人在导师指导下，独立进行研究工作所取得成果。除文中已经注明引用内容外，本论文不含任何其他个人或集体已经发表或撰写过作品或成果。对本文研究做出重要贡献个人和集体，均已在文中以明确方式标明。申请学位论文与资料若有不实之处，本人承担切相关责任。论文作者签名日期年月日学位论文使用授权说明本人完全了解杭州电子科技大学关于保留和使用学位论文规定，即研究生在校攻读学位期间论文工作知识产权单位属杭州电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大学。学校有权保留送交论文复印件，允许查阅和借阅论文学校可以公布论文全部或部分内容，可以允许采用影印缩印或其它复制手段保存论文。保密论文在解密后遵守此规定论文作者签名日期年月日指导教师签名日期年月日万方数据杭州电子科技大学硕士学位论文摘要随着互联网发展，上网对于人们来说越来越方便。人们可以在任何时间，任何场所发表自己购物体验或者观影感受。这也导致了网络评论数量快速增长。在大量评论中，用户往往无法第时间找到自己感兴趣主题评论，这不仅浪费了时间同时还降低了用户体验。通过评论主题词聚类，可以将相似主题评论聚类在起。这样用户就可以方便阅读评论。评论主题词聚类有重要现实意义和理论意义。本文提出基于中文语法评论主题词提取方法。该方法提出准确，高效提取了网络评论中主题词。而提取主题词是为主题词聚类做准备。方法主要包括个步骤制定提取评论主题词模式高频主题词提取低频主题词提取。本文提出方法准确率达到，值达到。和传统评论主题词提取方法相比更准确。本文提出基于维基百科评论主题词聚类方法。通过主题词聚类从而将相似主题评论聚集到起，方便用户浏览。方法主要包括个步骤词向量空间模型建立选择合适词相似度衡量公式词相似度矩阵建立选取合适聚类算法进行主题词聚类。本文提出方法准确率达到，值达到。和传统方法相比准确率更高。本文介绍了评论主题词聚类重要性，提出了基于中文语法评论主题词提取方法和基于维基百科评论主题词聚类方法。和传统方法相比准确率更高。关键词维基百科，相似度矩阵，主题词，词聚类万方数据杭州电子科技大学硕士学位论文万方数据杭州电子科技大学硕士学位论文目录摘要目录第章绪论研究背景与意义研究现状及发展趋势词聚类算法研究现状词聚类评价方法研究现状本文研究内容本文组织第二章相关