1、随着云计算的告诉发展，在资源服务化的大趋势下，大量的国家组织企业单位均开发部署了自己的应用程序，以向互联网用户提供方便的服务。应用的服务器端程序拥有复杂多变的部署环境种类繁多的应用开发框架和数据库开发人员素质参差不齐互联网的开放性等等殷素素都造成了其成为被黑客攻击的首要目标。同时这些应用中蕴含了大量的用户数据核心业务数据等，通过跨站脚本攻击数据库注入等漏洞，攻击团队利用漏洞扫描和漏洞利用工具，窃取这些数据。这些数据或能够为攻击提供更多有用的数据，从而提高入侵成功率，或让攻击者轻松地窃取核心数据，从而减少攻击的复杂度。正因如此，应用的安全，关系到了提供该服务的组织的核心安全。提高应用的安全性，将能够有效的降低数据泄露和遭受攻击的风险。研究现状随着时代的。
2、能从抓取的模型中获得业务逻辑的安全漏洞。模型构建基于有限状态机的站点模型抽取使用技术的应用不同于有代表简单页面的应用，应用的页面不仅仅包含文档对象模型节点，还包括系列的事件页面状态等。当用户触发页面中的事件，应用能够利用请求与服务器进行交互，第五章复杂应用安全扫描器先进爬虫算法从个状态转换到另外个状态。下面介绍些应用中的些概念，以便使基于状态的爬虫模型更容易理解元素节点元素节点构成了整个页面，节点可以被代码所操作，如对节点的添加删除以及更新节点的属性文本值。在应用安全性检测当中，需要用户输入的元素节点是爬虫重点收集的接口信息，如文本输入框，表单元素域的密码输入查询输入，普通文本输入等等。结构页面是由元素节点堆砌而成，页面中所有文本，输入接口，表单，文。
3、热点请求与冷点请求示意图针对这样的请求，我们将其命名为热点请求，当请求产生了热点请求，说明这触发需要客户端与服务器进行数据的交互，将请求的进行语法分析，我们将得到如图所示的接口结构信息。第五章复杂应用安全扫描器先进爬虫算法图与语法解析示例热点请求过滤机制就是将对于每个请求进行语法分析并记录下来，当发现同模式的请求或者同模式的请求序列，那么生成的新状态将不需要进行页面内容哈希消重计算，当发现是全新的请求或请求序列时，才进行哈希消重计算。而对于并未与服务器进行数据交互的冷请求，由于其不需要与互联网进行数据通信，页面仅仅是由客户端代码所生成，无需与远端服务器进行交互，权衡效率我们仍会对其进行哈希消重计算。这样的设计不但大大减少了哈希计算的次数，同时也得到了。
4、另外个状态，这样的状态跳转可以被抽行为有向图的结构，该结构可以由个三元组来表示，表示该应用的初始状态，表示应用所有状态的集合，表示所有边的集合，表示，∈代表个从状态到的个转换。状态状态状态状态状态图网络应用状态转移示意图北京大学硕士学位论文图所示为个简单地应用状态转换以及传统页面转换同时存在时的状态图实例，图中当应用在状态之间转换时地址是不变化的，而通过标签的超链接可以跳转到状态时，地址发生了变化。基于有限状态机理论来构建爬取模型的最大难点为状态等价验证的问题，国内外学者针对这难点提出了诸如哈希值编辑距离针对页面指令以及页面内容的双重消重策略等等，这些算法虽然存在些性能屏障，但是都基本上解决了状态爆炸的问题。为了提高运行效率避免重复生成相同或近似页面。
5、终端为止。实验的结果发现使用的阈值，配合的权重参数，其率为。而使用的阈值，配合的权重参数，能在本实验环境下取得较好的准确率。本章小结本章节针对当目标企业或组织遭受后，利用历史网络流量数据和单点受其害主机，发现组织内部同样受到该攻击的其他主机，确定组织内部收到感染的范围，以便进行攻击取证和预估遭受所造成损失大小。本章所使用的算法借鉴了多少个僵尸网络发现算法，但是克服了僵尸网络算法中对于大量僵尸样本的数据需求。单凭企业内部定历史时间内的网络流量就可定位左右可能的台收感染的北京大学硕士学位论文主机从而确定感染范围。经仿真实验，发现参数的选择以及算法的初始条件，如首台被发现的受感染主机，对与最终的结果的准确率起到巨大的影响。通过实验的结论，使用作为相似度计算。
6、件等等都是个节点，个节点可以包含另个个节点，从而构成个树型结构。事件通过触发此类事件，应用与服务器进行数据交互，再反映到用户端页面的展示上，事件由事件触发器，，事件名称事件处理函数组成，这些事件与元素节点绑定，当用户触发事件后，通过事件处理函数，来完成用户的目标请求。在爬虫的算法当中，我们需要重点关注的是可点击的元素节点，如等等。在重度依赖技术的网络应用当中，这些节点通常是绑定和触发事件的主要来源。状态时代，应用的状态与地址直接相关，而在应用中，大量的应用使用单的地址就可以完成所有的业务，如，等，在这些应用中，应用状态与时刻呈现在浏览器中结构直接相关。个应用的首页为整个有限状态机的起始状态。转换当触发了元素节点上绑定的事件后，应用有可能从个状态转换到。
7、来临，技术被广泛使用与网络应用的开发当中来，技术使用异步的方式与服务器进行交互，为应用开发者提供了不同于传统网络应用的开发模式和用户体验。使用技术开发的应用程序使用对象异步的向服务器发送请求更新用户当前页面而不需要用户手动刷新。这样的网络应用大大提高了用户体验同时，也增加了网络应用安全扫描的难度，特别实在扫描器的爬取数据阶段，传统爬虫面对重度依赖技术的网络应用显得无计可施。其主要原因是应用的地址不再与应用的当前状态相对应，用户界面的变化可以直接通过客户端的代码来实现，而不北京大学硕士学位论文需要向服务器发送任何请求。对于应用的安全测试工具的爬虫来说，如果仅仅是递归的遍历所有页面上的链接，并以地址来表示当前应用的状态，将无法完整的获取整个应用的所有接口。
8、信息。因此，我们需要设计种新的方法来实现安全扫描器的爬虫，来应对应用的安全性扫描测试和评估等工作。自技术诞生以来，针对搜索引擎技术，已经有大量的学者对应用爬取算法进行了研究，文献中对针对大量使用的富应用的爬去算法所面临的挑战进行了阐述，同时在论文中分析了当前针对应用爬去的相关建模算法，三篇论文，提出了抓取应用的建模方法，他们都使用有限状态机为应用建模，使用作为状态，而的导致了状态的改变。对应用的建模的过程中都面对个状态等价验证的问题，这三篇论文对于该问题分别提出了哈希值编辑距离的方法来进行状态致性的验证。并没有采用应用建模的方法，而是讨论了如和的工具分析代码，从而辨认出哪些发送了。文献在以上爬取算法的基础上双重消重策略来解决状态爆炸问题，但是该算法假。
9、变的。本文将五个权重从大到小进行了排序实验结果使用不同的权重参数以及不同的阈值进行感染发现算法的计算，将使得算法的率和感染发现能力产生较大的差别。表展示了使用不同的权重和阈值时，算法对感染范围以及服务器发现数量。可以明显的看到，相似度的阈值设的过高将使得算法无法返现被感染的主机和服务器，不同的权重参数也通过影响计算相似度，影响了算法对感染发现的能力。表发现被感染终端数与服务器数阈值阈值阈值个个个个个个表展示了使用不同的初始阈值配合最佳的权重参数进行感染范围发现，其最有可能的前个受感染主机的率情况。表算法结果率阈值阈值发现被感染终端数个发现服务器数个率当阈值为时，算法只能发现个被感染的终端，为了发现最可能的前十个被感染终端，算法自动减低阈值，直到发现个。
10、的阈值，并赋值给请求文件类型以较高的权重时，实验结果较好。第五章复杂应用安全扫描器先进爬虫算法第五章复杂应用安全扫描器先进爬虫算法问题的提出第三章与第四章中的策略及算法能够增强终端防护能力，减少社会工程学的破坏力以及对潜伏的进行识别和挖掘。然而对于普遍部署在公网服务器上的应用安全并没有提供有效安全防护手段。凭借其高级性的特点，技术水平强大的黑客团队能够使用自研自用的网络攻击工具对目标展开攻击，同时黑客团队也具有高超的漏洞扫描与发现能力。大部分被击目标组织都具有向互联网提供服务的应用，网络应用在如此快的时间内实现了爆炸式的发展，主要是由于其具有较低的开发成本原生的跨平台性软件的发布与升级比传统单击应用更加容易，并且可以实现无需配置即可使用的特点，另外，。
11、内容，结合安全扫描器爬虫的需求特点，本文提出了种基于热点请求过滤和页面内容哈希值的双重消重策略。双重消重策略为了解决在爬取应用过程中出现的状态爆炸问题，我们需要采用适当的消重策略从而识别每次事件触发所产生的页面是否为个爬虫尚未爬取过的新页面。对于单的哈希值或者编辑距离算法虽然可以识别重复页面，但是运行效率不高爬虫不断地触发点击事件，与服务器进行重复的交互并获得的页面，经消重算法计算后却被认定为重复页面，这无疑进行大量的消重计算。我们针对安全爬虫的特点，即对于安全性检查需要获得代码所发出了请求，这些请求的特点是通常带有大量的参数，如图所示，这样的请求是安全检查的重点，他们极有可能存在劫持注入等等严重的安全漏洞。热点请求事件事件事件事件互联⺴⺴网冷请求图。
12、定在页面无输入表单的情况下，这又与我们所要实现的安全爬虫的宗旨所违背。文献中对于传统的网络爬虫进行了扩展，使其可以执行代码，从而与服务器进行交互，生成将脚本修改过的页面，该方法控制流非常复杂，且算法的爬取过程依旧依赖于地址，爬取覆盖率不能够达到要求。在文献中个站点抽象成状态转换图，页面被抽行为状态转换图中的状态，页面之间的跳转关系被抽象为状态转换的条件，算法使用值来进行重复页面识别，大量的运算影响了爬虫效率。当前学术界的建模方法都不完整，这种建模方式，忽略了最重要的值，事件的输入将影响状态的改变，还有状态致性验证的不合理性，状态爆炸等问题。而且这些抓取模型，并非是针对安全检测而设计的，这些模型都没有针对模拟攻击所需要的接口信息抓取来进行设计，同时也不。
参考资料：
1、该文档不包含其他附件(如表格、图纸)，本站只保证下载后内容跟在线阅读一样，不确保内容完整性，请务必认真阅读。
2、有的文档阅读时显示本站（www.woc88.com）水印的，下载后是没有本站水印的（仅在线阅读显示），请放心下载。
3、除PDF格式下载后需转换成word才能编辑，其他下载后均可以随意编辑、修改、打印。
4、有的标题标有”最新”、多篇，实质内容并不相符，下载内容以在线阅读为准，请认真阅读全文再下载。
5、该文档为会员上传，下载所得收益全部归上传者所有，若您对文档版权有异议，可联系客服认领，既往收入全部归您。
基于海量数据挖掘算法的APT防护关键技术开发与应用