义的生命周期次完整的攻击攻击的特点应对策略为什么传统防护手段无法应对攻击增强终端安全防护能力采用基于历史网络流量分析技术进行攻击挖掘增强网络边界安全性第三章基于深度学习与沙盒技术识别未知病毒沙盒技术与未知病毒深度学习深度学习概述深度学习算法基于集成自编码神经网络与沙盒技术构建未知病毒识别模型算法概述目录行为特征提取数据对齐模型设计与训练算法评估本章小结第四章基于历史全流量分析的感染发现算法感染的发现基于历史流量分析的感染发现算法请求的相似度构建请求图感染发现算法算法评估实验环境搭建参数设定实验结果本章小结第五章复杂应用安全扫描器先进爬虫算法问题的提出研究现状模型构建基于有限状态机的站点模型抽取双重消重策略扫描器设计与实现性能评估实验环境双重消重效果评估与传统爬虫的性能比较本章小结第六章结论及展望论文工作总结未来工作展望参考文献北京大学硕士学位论文致谢北京大学学位论文原创性声明和使用授权说明第章引言第章引言课题研究背景与意义的趋势过去的两年内，系列重大的安全事件涌入公众的视野当中斯诺登棱镜门事件数据库泄露成功入侵索尼影视的格盘病毒与臭名昭著的震网同源的在工控系统中广泛传播用户数据泄露等等，将各大企事业单位样本的数据需求。单凭企业内部定历史时间内的网络流量就可定位左右可能的台收感染的北京大学硕士学位论文主机从而确定感染范围。经仿真实验，发现参数的选择以及算法的初始条件，如首台被发现的受感染主机，对与最终的结果的准确率起到巨大的影响。通过实验的结论，使用作为相似度计算的阈值，并赋值给请求文件类型以较高的权重时，实验结果较好。硕士研究生学位论文题目基于海量数据挖掘算法的防护关键技术研究与应用姓名学号院系专业研究方向导师姓名二〇五年七月摘要摘要近年来在信息安全领域绕不开的个话题就是，这种被称为高级持续性威胁的网络攻击手段已经成为信息安全保障领域的巨大威胁。以窃取目标组织内部的核心资料为目的，是针对特定目标所发动的有组织有预谋的攻击和入侵行为，是种蓄谋已久的恶意商业威胁。在当今网络环境下，攻击已经成为各国企事业单所面对的最具挑战的信息安全威胁。凭借极强的隐蔽性长达数月甚至数年的持续性攻击，使得传统安全检测措施难以应对此类攻击。本文将海量数据挖掘领域的相关技术，应用到检测和防护中来。取得了如下几个方面的研究成果对的定义特点历史事件进行研究，总结出的生命周期，并利用次典型的攻击过程的举例说明。结合对传统的安全防护手段和算法缺陷的分析，最终提出三点先进的应对策略，以此策略作为基础，形成本篇论文的三点研究方向。从增强终端防护能力作为突破口，提高的防护能力。文本提出了种基于深度学习算法与沙盒技术的病毒行为特征匹配算法，面对未知病毒日渐复杂的行为特征，该算法相较于静态的特征码匹配算法在应对攻击中具有明显的优势，该算法创新性的构建出了集成自编码器深度神经网络模型，深度挖掘恶意软件背后的特征本质，并利用大量病毒样本与正常程序样本进行模型训练，最终极大的提高了分类结果的准确率。针对的持续性特点，利用历史网络流量数据进行攻击感染范围的挖掘。以单点受害主机作为起点，利用基于历史网络流量特征匹配算法计算台最有可能受到感染的主机。从而帮助企业进行攻击取证和遭受攻击后的损失预估等工作。增强部署在网络边界的应用安全性扫描的覆盖率。面对使用技术的富网络应用的安全性扫描与检测所带来的挑战。提出了种基于有限状态机算法和双重过滤机制的网络爬虫，从而增强富网络应用的安全扫描覆盖率，全面提升应用的安全性。关键词高级持续性威胁，深度学习，自编码神经网络，历史网络流量感染发现，先进安全性爬虫北京大学硕士学位论文，请求的文件类型相似度的计算公式如下所示由上文六个行为属性计算出两条请求的相似度的公式如下所示，其中参数为不同属性所具有的权重值。构建请求图在上小节关于如何计算请求相似度的讨论当中，已经将每条请求按照不同的功能和含义进行了分段划分，具体如图所示。为了方便与进行两条请求相似度的计算，还需要将所有的历史网络请求建立成图的结构，方便该算法进行快速的相似度运算。首先定义图的结构为，其中为图中的远程服务器节点集合，为源地址的终端节点集合表示终端节点与远程服务器节点之间的连接，其中为上小节中的行为集合。整个建树的过程如下首先识别网络日志中所有的网络流量，即利用图的结构将每条网络请求进行分段，这样条网络请求将可以生成终端节点，个远程服务器北京大学硕士学位论文以及个连接，检查该远程服务器节点和终端节点是否已经存在于请求图，若不存在则将其加入到图中的适当位置。图展示了将图中的这条网络请求添加到请求图后结构。图请求图的生成过程感染发现算法图发现的发现的受感染终端污染发现范围最可能的前个被污染终端，寻找同个与通讯的终端节点，取得首个数据集取得所有被污染终端的连接数据集，图基于历史流量分析的感染发现算法当个收到感染的主机被发现后，本基于历史流量的感染发现算法就可以开始启动，被感染的这个主机将为们提供基本攻击者所使用的台或多台服务第四章基于历史全流量分析的感染发现算法器，同时也提供给我们被植入的恶意程序的网络行为特性。首先，另台服务器为，被感染的主机为，设置目标的感染范围为。图中使用伪代码详细的论述了整个感染发现算法的具体实现过程，图使用个简单务器收集两周的合法网络流量数据。将上文中仿真受感染终端的网络流量历史数据的源地址进行替换操作，将地址替换为台合法网络流量历史数据中的地址，并将这些替换过源的非法网络流量插入到台终端两周的网络流量历史记录当中。参数设定本算法在计算网络请求相似度时需要使用要到个参数，分别为，和，这些权重参数的选择决定了算法的准确率，与此同时，对于个参数的选择也要依据网络环境的不同而不同。第四章基于历史全流量分析的感染发现算法由于网络协议如，通信端口如这些元素收到了网络防火强的过滤，使用非法的协议或者端口，是很难保证受感染终端与服务器的正常通信的。加之黑客希望隐藏的自己的行踪，更不会使用特殊的协议或端口进行远程通信和控制。因此，网络协议与通信端口在众多的网络流量历史数据中是很少发生改变的。本文将五个权重从大到小进行了排序实验结果使用不同的权重参数以及不同的阈值进行感染发现算法的计算，将使得算法的率和感染发现能力产生较大的差别。表展示了使用不同的权重和阈值时，算法对感染范围以及服务器发现数量。可以明显的看到，相似度的阈值设的过高将使得算法无法返现被感染的主机和服务器，不同的权重参数也通过影响计算相似度，影响了算法对感染发现的能力。表发现被感染终端数与服务器数阈值阈值阈值个个个个个个表展示了使用不同的初始阈值配合最佳的权重参数进行感染范围发现，其最有可能的前个受感染主机的率情况。表算法结果率阈值阈值发现被感染终端数个发现服务器数个率当阈值为时，算法只能发现个被感染的终端，为了发现最可能的前十个被感染终端，算法自动减低阈值，直到发现个终端为止。实验的结果发现使用的阈值，配合的权重参数，其率为。而使用的阈值，配合的权重参数，能在本实验环境下取得较好的准确率。本章小结本章节针对当目标企业或组织遭受后，利用历史网络流量数据和单点受其害主机，发现组织内部同样受到该攻击的其他主机，确定组织内部收到感染的范围，以便进行攻击取证和预估遭受所造成损失大小。本章所使用的算法借鉴了多少个僵尸网络发现算法，但是克服了僵尸网络算法中对于大量僵尸的例子解释了该算法的计算过程。以下为对该算法的描