【优秀毕业论文】基于海量数据挖掘算法的APT防护关键技术开发与应用

在刚刚召开的年互联网安全大会上，高级持续性威胁俨然已经成为了热点议题。

是以窃取目标组织内部的核心资料为目的，针对特定目标所发动的有组织有预谋的攻击和入侵行为，是种蓄谋已久的恶意商业威胁。

在当今网络环境下，攻击已经成为各国企事业单所面对的最具挑战的信息安全威胁。

凭借极强的隐蔽能长达数月甚至数年的持续性攻击，使得传统安全检测措施难以应对此类攻击。

采用大数据相关技术进行安全分析检测以及数据安全防护已经受到了安全领域学者们的高度关注。

硅谷应对攻击最炙手可热的网络安全创业公司也就网络攻击的趋势给出了预测，其核心内容如下黑客们所使用的工具和技术日趋复杂，攻击手段多样化，这使得安全研究人员难以发现发动攻击的黑客的真实身份。

认证签名将无法阻挡黑客的攻击行动，因为黑客们更多的选择使用窃取的合法认证签名。

随着移动端设备的普及，移动互联时代的到来，针对移动平台的病毒将使得网络安全问题变得极其复杂。

浏览器作为用户访问互联网最常用的窗口，其面临的安全威胁将更加严重。

基于社会工程学的钓鱼攻击将成为主流形式。

针对于沙盒系统的强大，黑客们会持续的研发出更多的强大的沙盒绕过技术，从而实现成功的渗透。

随着恶意病毒程序所使用的技术越来越发杂，检查单个程序的合法性将耗费更多的时间成本。

可以看到，随着网络攻击的技术和手段不断的创新发展，恶意攻击者们将采用更加聪明且简洁的方法来攻破已有的安全防护体系，而其攻击技术的发展趋势可以概括为北京大学硕士学位论文以下三点终端攻击技术直接针对工业控制系统网络服务器的攻击是困难的，这些服务器和系统将受到完备的安全保护，而随着企业组织内部终端设备近些年来的飞速发展终端的安全防护的不全面，使得攻击终端将成为个趋势，黑客首先攻击组织内部的终端设备，在以此为跳板最终达到入侵组织内部的服务器的目的。

攻击自定义为了避开传统安全设备的检测，如基于指纹识别的入侵检测系统防火墙以及病毒扫描软件等，攻击者每次攻击都使用全新定制的攻击软件，这使得被攻击目标无法成功检测到恶意软件的存在。

利用社会工程学随着社交网络的飞速发展，黑客可以更加容易的窃取目标组织内部人员的隐私信息，黑客通过如和锁定目标组织中的员工，并根据其社交信息，向其发送钓鱼邮件，该员工打开邮件中的附件或者登陆了恶意链接都可能触发黑客预先嵌入的漏洞。

的动机通过对各商业领域信息安全事件的统计，安全评估公司发布了下图所示的结果。

由该图可以看出，能源与金融该行业所面对的安全攻击风险较高，类相关技术公司处于较低的位置。

图财富强产业遭受黑客攻击频率示意图关于防御攻击指南中，阐述了基本的攻击的动机，其中针对金融行业，已获利为目的攻击是主要的动机，这也与所提供的图标结果不谋而合。

黑客使用入侵金融企业，窃取机密数据如信用卡信息或其他隐私信息再卖给其竞争对手，以从中获利。

第章引言另个主要的发动攻击的动机是国家网络间谍行为。

国家通过雇佣黑客或黑客团队对他国的重要政府组织和商业组织进行长时间的渗透攻击，从而实现窃取他国核心情报的间谍活动。

如窃取他国的专利技术，军事计划，软件源码等。

单纯的黑客活动也是攻击的动机之，黑客通过入侵目标组织的网络服务器，篡改目标站点的内容，以宣扬自己的政治立场。

历史攻击数据概要起起臭名昭著的攻击事件，使得这个名词走进了人们的视线。

大多数的企业参考文献，李华波，吴礼发等，有效的爬行页面的网络爬行算法电子科技大学学报，罗冰，支持的物联网搜索引擎爬虫设计与实现杭州浙江大学北京大学硕士学位论文致谢北京大学软件与微电子学院是个不仅能够提高工程技术水平，又能砥砺品行的优秀学院。

我为能够在此求学而感到骄傲。

首先，向我的导师安辉耀教授致以由衷的谢意。

本篇论文在安老师的知道下完成，文中的每处创新，每各要点都凝聚了安老师的心血和关怀。

三年前我刚刚来到北京大学，对自己的研究方向与技术学习方向都十分迷茫。

在安老师的悉心指导和帮助下，逐渐找到了自己兴趣点与优势，并在接下来的两年里，发奋专研，努力提高自己的工程实践水平和科研能力。

如果没有安老师敏锐的洞察力严谨的工作态度以及面对困难勇攀高峰的学术风骨时时的激励，我将很难坚持下来。

就在这论文的结尾，请允许我想我的导师致以深深的感谢。

感谢我的同门师兄弟刘敦伟李鹏程张银立于涛谢旭东王浩李罡于海洋姚丹彭洪涛席乌云李雷查俊郭宗琪的相互帮助与支持，与他们的交流使我开阔了思维，同时也增强了我的团队协作能力。

我要感谢我的家人，感谢父亲母亲对我的养育之恩，他们对我无私的奉献支持和鼓励，使我可以没有后顾之忧的全身心的投入到课题的研究当中，有了他们的关爱，才使得我能路顺利的完成学业。

他们永远使我最坚强的后盾。

最后，感谢所有在百忙之中评阅我的论文的专家学者。

北京大学学位论文原创性声明和使用授权说明北京大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明所呈交的学位论文，是本人在导师的指导下，进行研究工作所取得的成果。

除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品或成果。

对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。

本声明的法律结果由本人承担。

论文作者签名日期年月日学位论文使用授权说明必须装订在提交学校图书馆的印刷本本人完全了解北京大学关于收集保存使用学位论文的规定，即按照学校要求提交学位论文的印刷本和电子版本学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务，在校园网上提供服务学校可以采用影印缩印数字化或其它复制手段保存论文因种特殊原因需要延迟发布学位论文电子版，授权学校年两年三年以后，在校园网上全文发布。

保密论文在解密后遵守此规定论文作者签名导师签名日期年月日硕士研究生学位论文题目基于海量数据挖掘算法的防护关键技术研究与应用姓名学号院系专业研究方向导师姓名二〇五年七月摘要摘要近年来在信息安全领域绕不开的个话题就是，这种被称为高级持续性威胁的网络攻击手段已经成为信息安全保障领域的巨大威胁。

以窃取目标组织内部的核心资料为目的，是针对特定目标所发动的有组织有预谋的攻击和入侵行为，是种蓄谋已久的恶意商业威胁。

在当今网络环境下，攻击已经成为各国企事业单所面对的最具挑战的信息安全威胁。

凭借极强的隐蔽性长达数月甚至数年的持续性攻击，使得传统安全检测措施难以应对此类攻击。

本文将海量数据挖掘领域的相关技术，应用到检测和防护中来。

取得了如下几个方面的研究成果对的定义特点历史事件进行研究，总结出的生命周期，并利用次典型的攻击过程的举例说明。

结合对传统的安全防护手段和算法缺陷的分析，最终提出三点先进的应对策略，以此策略作为基础，形成本篇论文的三点研究方向。

从增强终端防护能力作为突破口，提高的防护能力。

文本提出了种基于深度学习算法与沙盒技术的病毒行为特征匹配算法，面对未知病毒日渐复杂的行为特征，该算法相较于静态的特征码匹配算法在应对攻击中具有明显的优势，该算法创新性的构建出了集成自编码器深度神经网络模型，深度挖掘恶意软件背后的特征本质，并利用大量病毒样本与正常程序样本进行模型训练，最终极大的提高了分类结果的准确率。

针对的持续性特点，利用历史网络流量数据进行攻击感染范围的挖掘。

以单点受害主机作为起点，利用基于历史网络流量特征匹配算法计算台最有可能受到感染的主机。

从而帮助企业进行攻击取证和遭受攻击后的损失预估等工作。

增强部署在网络边界的应用安全性扫描的覆盖率。

面对使用技术的富网络应用的安全性扫描与检测所带来的挑战。

提出了种基于有限状态机算法和双重过滤机制的网络爬虫，从而增强富网络应用的安全扫描覆盖率，全面提升应用的安全性。

关键词高级持续性威胁，深度学习，自编码神经网络，历史网络流量感染发现，先进安全性爬虫北京大学硕士学位论文北京大学硕士学位论文目录第章引言课题研究背景与意义的趋势的动机历史攻击数据概要国内外研究现状国外研究现状国内研究现状论文研究内容论文主要工作论文组织结构第二章高级持续性威胁概述理解高级持续性威胁定义的生命周期次完整的攻击攻击的特点应对策略为什么传统防护手段无法应对攻击增强终端安全防护能力采用基于历史网络流量分析技术进行攻击挖掘增强网络边界安全性第三章基于深度学习与沙盒技术识别未知病毒沙盒技术与未知病毒深度学习深度学习概述深度学习算法基于集成自编码神经网络与沙盒技术构建未知病毒识别模型算法概述目录行为特征提取数据对齐模型设计与训练算法评估本章小结第四章基于历史全流量分析的感染发现算法感染的发现基于历史流量分析的感染发现算法请求的相似度构建请求图感染发现算法算法评估实验环境搭建参数设定实验结果本章小结第五章复杂应用安全扫描器先进爬虫算法问题的提出研究现状模型构建基于有限状态机的站点模型抽取双重消重策略扫描器设计与实现性能评估实验环境双重消重效果评估与传统爬虫的性能比较本章小结第六章结论及展望论文工作总结未来工作展望参考文献北京大学硕士学位论文致谢北京大学学位论文原创性声明和使用授权说明第章引言第章引言课题研究背景与意义的趋势过去的两年内，系列重大的安全事件涌入公众的视野当中斯诺登棱镜门事件数据库泄露成功入侵索尼影视的格盘病毒与臭名昭著的震网同源的在工