【优秀毕业论文】基于Docker的分布式集群IT自动化运维系统的设计与实现

之所以称之为智能系统，首先，硬件设备有别于传统的传感器，传统摄像机大多主要由光学镜头组成，通过收集光线形成对真是世界的描述，只能采集到数据，而真是世界是三维的，人的眼睛看到的世界是三维的，人的逻辑思维认知是建立在三维世界之上的，所以想用二维的数据解决三维世界的问题，其中的真实性和逻辑融合度会大大降低，甚至是不可能的，而我们使用的传感器是基于红外技术的，不仅是光线的收集者，同时还是光线的发射者，光线的传播过程会将真实世界的深度信息捕捉到，配合传统的信息，三维世界便呈现在计算机面前其次，对三维数据的实时分析是建立在计算机图形学和深度学习的基础之上的，计算机是被动接收数据并进行运算的，短板在于不能自主的做出选择，而机器学习方法的引入在定程度上解决了计算机没有大脑的问题，而深度学习又有别于传统的机器学习，机器学习是通过人为选择特点并制定过滤该特点的规则，让计算机严格按照规则筛选符合要求特点的数据，而深度学习是制定系列的规则，通过规则的排列组合将能提供最佳答案的规则组合方式作为原始数据的过滤条件第三，随着数据量的增加，深度学习算法会不断的完善自己，结果会越来越符合要求第四，所有的分析结果在中心服务器端作统的处理，数据之间的关联性会更加明显，用户定义功能的特点会越来越突出，这对进步提高系统的准确率起到了反向促进的作用。

我在团队中负责系统的运维工作，覆盖产品的整个生命周期，涉及到开发测试部署以及维护。

开发阶段主要负责自动化运维工具的研发，主要是收集服务的状态，统计系统的信息，定位异常的位置以及提供可以解决问题的接口产品阶段主要是保证系统稳定运行，初次部署启动系统时，要通过脚本控制保证各个模块的正常初始化，然后要实时监控服务的状态并统计系统的信息，平衡系统的压力，预警系统的异常，并解决系统异常。

研究背景软件开发之父曾经说过，信息时代，唯不变的就是变化，为了适应客户不断变化的需求，快速设计开发出高品质的软件产品，种以人为核心迭代硕士学位论文循序渐进的敏捷开发方法越来越普及，同时，大家越来越意识到，为了按时的交付软件产品和服务，对于传统的把开发和运营维护分割开的软件开发方式已经不适应现代产品和服务开发的需求。

首先，软件产品和服务的交付是个繁琐的流程，其中包括应用程序打包流程复杂，程序安装运行的外部依赖繁琐，分散的应用环境管理困难以及程序的升级采取笨重的全量迭代模型等，从各种版本的操作系统到各种中间件系统再到各种应用程序依赖，款产品能够成功发布，作为开发者需要关心的东西太多，且难于管理其次，软件产品和服务在交付并成功运行时，需要专门的运营维护人员进行保驾护航，涉及到如何让运维人员在第时间发现系统的异常并在最短的时间内进行定位，如何方便快捷的解决问题使事故的风险降到最低，以及如何将问题方便快捷的反馈给开发人员进行迭代等问题，对于大型分布式集群，其管理维护的成本会非常昂贵最后，产品在上线以后，随着数据量的不断膨胀，服务器的效率会呈反比降低，需要考虑如何通过对网络硬件操作系统服务器参数和应用程序的调优实现系统优化，以提高系统的效率，加强系统稳定性。

面对越来越垂直的业务，面对越来越多样化的用户需求，需要更合理的模式来保障服务能灵活便捷安全稳定地持续保障不断扩展的应用，服务器的数量随着业务的扩张而不断增加，从单节点服务器到分布式集群，人工运营维护已经无法满足技术业务管理等方面的要求，那么标准化自动化架构优化过程优化等降低服务成本的自动化运维因素越来越被人们所重视。

研究现状随着分布式系统应用的发展，系统部署也由基于物理主机的部署时代进入基础设施即服务的部署时代，随着技术的发展，又跨入基于的部署时代，每个阶段的部署都有鲜明的特点。

基于物理机或虚拟机的部署现状基于物理主机或者虚拟机的自动化运维的工作主要针对私有云平台或的数据中心，多数因技术或者业务的要求而不得不选择相对封闭的计算环境，比如银行的数据中心，对业务数据的高敏感性要求数实用易用灵活的面向分布式系统业务流程的多层次全方位的自动化运维系统，通过不断的验证，实现不误报不漏报实时报，为分布式系统的托管提供稳定的保障。

最后，实现了套针对分布式集群的远程访问与控制方案，通过分布式主机管理服务对所有被控主机进行统的管理，对外提供系统以及服务两个层面的访问与控制，对系统的操作依赖服务器，对服务的操作依赖引擎。

硕士学位论文第七章总结与展望回顾与总结本文对分布式系统是难于设计构建与管理的这个突出问题进行了研究并提出了自己的解决方案，实现并测试了该解决方案。

在论文整体结构中，首先介绍了基于容器的分布式系统自动化运维的设计与实现的研究背景，提出当前运维体系需要解决的问题，得出搭建自动化运维系统的重要研究意义，然后分析当前国内外自动化运维的研究现状，明确了本论文的研究内容。

接下来分析了系统需求，指出了构建自动化运维系统在现在软件开发流程中的必要性和紧迫性，将需求细化为平台上可移植应用的构建，软件的持续集成与持续交付，分布式主机初始化过程的自动化，运维监控及预警模块的体化以及分布式系统远程控制等五个重要模块，并对每个模块功能的设计思路进行了详细的介绍。

然后介绍了五个模块的设计与实现，首先对可移植应用的构建进行了探索，并成功将支持架构位系统的技术移植到架构位系统的嵌入式开发板上接着对软件产品的持续集成和持续交付流程进行了设计与实现，将的思想引入团队产品的开发中然后重新定义了分布式主机初始化的流程，将该过程的操作用自动化的方式进行规范处理又详细介绍了分布式系统运行过程中异常维护的流程，重点介绍了体化的运维监控及预警模块以及系统远程控制模块的设计与实现。

最后，介绍了对整个自动化系统的功能测试以及性能测试，测试结果验证了该系统的可用性以及稳定性。

前景与展望本论文所阐述的分布式系统自动化的构建与管理方案是个理念的设计原型，意义并不在于设计套可以实际应用的分布式系统自动化运维工具，而是将软件产品自动化的思想进行验证，并在以后的实践过程中严格执行。

如文章所述，凭借其便携性轻量级的运行环境和包管理器正被云服务商所接收，今后系统中的任何应用都要尝试以容器的形式进行发布同时，持续集成与持续交付的流程要更加彻底，要在团队内部贯彻持续的理念，在设计持续集成与持续交付流程时要更多的考虑研发人员测试人员以及运维人员等相关人员的需求，总结与展望最终在持续的流程中实现产品发布的自动化该系统支持分布式系统问题的排查及处理，但是对随机不可预测的问题，其解决方案也是没有规律可循的，这就要求运维人员要有定的技术背景，在以后的设计中要充分考虑分布式系统的自我修复设计，进步推送系统自动化的进程。

最后，产品成型阶段要经过更严格的系统测试以及性能测试，该系统的最终目的是保障分布式系统的正常工作，有问题时能够及时根本的解决问题，所以要首先保证该系统的稳定性，要对系统压力及性能进行更全面的测试。

硕士学位论文参考文献陈军基于的嵌入式产品平台构建，硕士学位论文，范艳开基于的嵌入式操作系统移植，硕士学位论文，邓漫龄嵌入式系统的研究与实现，硕士学位论文，刘鹏程云计算中虚拟机动态迁移的研究，硕士学位论文董玉双云平台中虚拟机部署的关键问题研究，博士学位论文，刘爱军，耿国华基于的虚拟机技术现状应用及展望，计算机技术与发展，张倩，袁玉宇，张旸旸系统与软件可移植性标准中可移植性定义的研究，信息技术与标准化，吴佳杰基于的系统虚拟化关键技术设计与实现，硕士学位论文，鞠春利，刘印锋基于的私有系统构建，计算机与信息技术，闵杰云计算之颠覆者还是昙花现，中国电子报，岑义涛从容器漏洞谈安全，网络世界，邹铮八大问题快速了解，网络世界，聂磊基于架构的自动化运维服务系统的实现，硕士学位论文，王禹华云管理系统设计与实现，硕士学位论文，李丽，杨新章，陆刚，何震苇开源平台初探，广东通信技术，徐鹏，陈思，苏森互联网应用平台体系结构，北京邮电大学学报，史蒂夫布兰科瀑布式产品开发终结否，中国企业家，王敏基于敏捷开发的软件过程管理研究，硕士学位论文，张贝贝推倒隔阂之墙，软件和信息服务，赵光星面向敏捷开发的软件测试技术研究与应用，硕士学位论文，彭志楠敏捷开发在软件开发中的应用研究，硕士学位论文，李博分布式集群性能监测研究，硕士学位论文，陈凯分布式系统的性能优化，硕士学位论文，张艳辉云平台运维管理探析，信息技术与标准化，付哲系统体化运维监控及服务预警平台的设计与实现，电子制作，参考文献王桂叔基于的运维监控智能管理平台建设与应用，软件产业与工程软件质量保证王振宇，陈利，王志海译，第版，机械工业出版社，年月朱少民软件测试方法和技术，第版，清华大学出版社，年，fi„深入理解内核第版美博韦，西斯特著陈莉君，张琼声，张宏伟译运维之道丁明著技术入门与实战杨保华，戴王剑，曹亚仑著权威指南第版，美著邓强，王明辉译设计与实现黄健宏著，硕士学位论文致谢本论文是在导师麻志毅老师和蒋严冰老师的悉心指导下完成的。

麻老师听取了我对整个论文架构的设计后，认真的帮我选择了论文题目，并对我论文的开展提供了很多指导性的意见，蒋老师听取我的论文开题汇报后也对我论文的撰写提供