毕业设计_基于大数据技术的公安移动通信数据处理平台设计与实现

优秀的数据处理平台既能提供丰富完善的业务应用，又能实现数据平台各组件的集中式管理方便系统运维人员日常监测提升运维效率，并能反馈系统运行状态给系统开发人员。

大数据时代的业务与运维将紧密的结合在起。

大数据已开始影响并应用到人类致力于发展的所有领域中，公安工作领域亦不例外。

基于大数据技术的公安移动通信数据处理平台以海量结构化通信数据和平台各组件产生的海量结构化半结构化日志数据为研究对象，设计并实现了种融合业务系统与运维系统，集成实时数据流处理引擎大数据管理引擎分布式内存计算架构和数据交换系统的解决方案。

本文从公安信息化建设实际工作出发，根据公安部门提供的全省手机通信实时数据流传输接口，设计并实现了实时数据流处理引擎，对不同运营商不同信令的实时通信数据流实施抽取清洗关联回填等步骤后装载到数据仓库中。

基于数据仓库，整合地理信息系统与系统，构建了移动通信数据分析子系统，在空间时间目标号码等多个维度上对通信数据进行查询分析。

另外，为实现通讯数据处理平台的高可靠性易维护性以及数据平台内部组件间高效的数据交换，设计并实现了日志数据分析子系统，通过整合数据采集工具分布式消息队列全文搜索引擎和分布式内存计算架构实现了对通信数据的处理以及数据平台组件日志数据的收集处理与分析，本系统在济南市公安局已经成功应用，在科技强警中起到了重要作用，为分析案情提供了基于通信大数据的高效分析方法，同时也大大提高系统研发与运维人员的工作效率。

本文首先对海量通信数据和日志数据应用环境下公安数据中心建设的课题背景进行研究，分析了公安对基于移动通信数据的大型数据处理平台的需求以及目前公共安全领域数据集成平台的应用情况。

第二，依据需求分析，通过架山东大学硕士学位论文构预研与技术选型，给出了基于大数据技术的公安移动通信数据处理平台实时数据流处理引擎移动通信数据分析子系统日志数据分析子系统的概要结构设计，包含系统架构设计和技术架构设计，技术架构设计主要依照分层思想定义数据处理平台各组件的功能，系统架构设计的出发点在于系统的可扩展性高可用性可维护性，对现有的主流开源大数据技术进行了调研，阐述了日志处理解决方案分布式内存计算架构与的融合架构，详述了由数据采集组件分布式数据流处理框架组成的实时数据流处理引擎的设计依据，以及由分布式列式数据仓库分布式消息队列全文搜索引擎组成的大数据管理引擎的设计方案和特点等。

第三，给出了移动通信数据分析子系统与日志数据分析子系统各模块的详细设计，在详细设计的基础上给出各个模块的实现和测试，包括利用公安提供的实时数据流接口进行实时数据流处理程序的开发，基于的通信数据流关联回填实时监控程序开发，以及软件模块的开发等。

本文最后对生产环境的搭建和应用情况作详细分析，并对系统的进步改进提出了建议。

关键字流处理数据共享数据采集转换装载日志处理通信大数据山东大学硕士学位论文，曹珲，熊胜超，张焕国，等系统的隐蔽信道搜索问题研究计算机研究与发展，山东大学硕士学位论文山东大学硕士学位论文致谢在本文即将完成之际，回想研究生阶段的学习生活，我衷心感谢我的导师。

老师待人正直诚恳关爱学生，在我的学习生活中给我提供了宝贵的实践机会，并边督促我边给出了建设性创新性的指导意见。

我想这切磨砺了我的意志，端正了我做事情的态度，会让我感动铭记和受益终身的。

在研究生阶段，老师对我的专业学习课题研究论文选题和撰写都给与了极大的关注和悉心指导，在此谨致以诚挚的敬意和衷心的感谢，感谢济南市公安局云计算中心机房，在那里年多的项目开发时光锻炼了自己的技术与态度。

感谢状况百出的浪潮服务器，让我明白了只有专注于细节和质量，才能走得更远。

感谢中国开发中心数据集成与分析服务部，为期半年的实习生活拓展了我的思路，提升了我思考并解决问题的能力。

最后，感谢在我成长的过程中给予我帮助的所有老师朋友和同学们。

分类号单位代码学号密级硕士学位论文论文题目基于大数据技术的公安移动通信数据处理平台设计与实现作者姓名专导业师软件工程合作导师年月日原创性声明和关于论文使用授权的说明原创性声明本人郑重声明所呈交的学位论文，是本人在导师的指导下，进行研究所取得的成果。

除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的科研成果。

对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。

本声明的法律责任由本人承担。

论文作者签名日期关于学位论文使用授权的声明本人完全了解山东大学有关保留使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅本人授权山东大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印缩印或其他复制手段保存论文和汇编本学位论文。

保密论文在解密后应遵守此规定论文作者签名导师签名日期山东大学硕士学位论文目录摘要第章概述系统开发背景相关研究现状本文的主要工作论文的组织结构第章需求分析系统概述系统功能性需求描述实时数据流处理引擎移动通信数据分析子系统日志数据分析子系统系统非功能性需求描述系统高可用性系统高可扩展性系统效率第章概要设计系统设计目标和原则设计目标设计原则技术架构系统架构数据采集消息队列分布式内存计算引擎数据存储平台全文搜索引擎第章系统详细设计实时数据流处理引擎详细设计山东大学硕士学位论文移动通信数据流采集与字段解析移动通信数据流关联回填日志数据流采集与字段解析移动通信数据分析子系统详细设计业务查询设计轨迹渲染设计实时监控设计系统管理设计类结构设计日志数据分析子系统详细设计第章系统实现移动通信数据分析子系统业务查询模块轨迹渲染模块系统管理模块日志数据分析子系统日志查询模块视图构建模块仪表盘定制模块邮件告警生产环境部署第章结论参考文献致谢山东大学硕士学位论文山东大学硕士学位论文山东大学硕士学位论文摘要大数据时代，随着数据量不断增长，存储与计算集群的规模也逐渐扩大，几百上千台的云计算环境已不鲜见。

现在的集群所需要解决的问题不仅仅是高性能高可靠性高可扩展性，还需要面对易维护性以及数据平台内部的数据共享性等诸多挑战。

优秀的数据处理平台既能提供丰富完善的业务应用，又能实现数据平台各组件的集中式管理方便系统运维人员日常监测提升运维效率，并能反馈系统运行状态给系统开发人员。

大数据时代的业务与运维将紧密的结合在起。

大数据已开始影响并应用到人类致力于发展的所有领域中，公安工作领域亦不例外。

基于大数据技术的公安移动通信数据处理平台以海量结构化通信数据和平台各组件产生的海量结构化半结构化日志数据为研究对象，设计并实现了种融合业务系统与运维系统，集成实时数据流处理引擎大数据管理引擎分布式内存计算架构和数据交换系统的解决方案。

本文从公安信息化建设实际工作出发，根据公安部门提供的全省手机通信实时数据流传输接口，设计并实现了实时数据流处理引擎，对不同运营商不同信令的实时通信数据流实施抽取清洗关联回填等步骤后装载到数据仓库中。

基于数据仓库，整合地理信息系统与系统，构建了移动通信数据分析子系统，在空间时间目标号码等多个维度上对通信数据进行查询分析。

另外，为实现通讯数据处理平台的高可靠性易维护性以及数据平台内部组件间高效的数据交换，设计并实现了日志数据分析子系统，通过整合数据采集工具分布式消息队列全文搜索引擎和分布式内存计算架构实现了对通信数据的处理以及数据平台组件日志数据的收集处理与分析，本系统在济南市公安局已经成功应用，在科技强警中起到了重要作用，为分析案情提供了基于通信大数据的高效分析方法，同时也大大提高系统研发与运维人员的工作效率。

本文首先对海量通信数据和日志数据应用环境下公安数据中心建设的课题背景进行研究，分析了公安对基于移动通信数据的大型数据处理平台的需求以及目前公共安全领域数据集成平台的应用情况。

第二，依据需求分析，通过架山东大学硕士学位论文构预研与技术选型，给出了基于大数据技术的公安移动通信数据处理平台实时数据流处理引擎移动通信数据分析子系统日志数据分析子系统的概要结构设计，包含系统架构设计和技术架构设计，技术架构设计主要依照分层思想定义数据处理平台各组件的功能，系统架构设计的出发点在于系统的可扩展性高可用性可维护性，对现有的主流开源大数据技术进行了调研，阐述了日志处理解决方案分布式内存计算架构与的融合架构，详述了由数据采集组件分布式数据流处理框架组成的实时数据流处理引擎的设计依据，以及由分布式列式数据仓库分布式消息队列全文搜索引擎组成的大数据管理引擎的设计方案和特点等。

第三，给出了移动通信数据分析子系统与日志数据分析子系统各模块的详细设计，在详细设计的基础上给出各个模块的实现和测试，包括利用公安提供的实时数据流接口进行实时数据流处理程序的开发，基于的通信数据流关联回填实时监控程序开发，以及软件模块的开发等。

本文最后对生产环境的搭建和应用情况作详细分析，并对系统的进步改进提出了建议。

关键字山东大学硕士学位论文摘要大数据时代，随着数据量不断增长，存储与计算集群的规模也逐渐扩大，几百上千台的云计算环境已不鲜见。

现在的集群所需要解决的问题不仅仅是高性能高可靠性高可扩展性，还需要面对易维护性以及数据平台内部的数据共享性等诸多挑战。

优秀的数据处理平台既能提供丰富完善的业务应用，又能实现数据平台各组件的集中式管理方便系统运维人员日常监测提升运维效率，并能反馈系统运行状态给系统开