单位代码密级公开硕士学位论文论文题目面向绿色云计算的资源配置及任务调度研究曹玲玲徐小龙计算机软件与理论基于网络的计算机软件应用技术工学硕士二零四年二月学号姓名导师学科专业研究方向申请学位类别论文提交日期万方数据.万方数据南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档允许论文被查阅和借阅可以将学位论文的全部或部分内容编入有关数据库进行检索可以采用影印缩印或扫描等复制手段保存汇编本学位论文。本文电子文档的内容和纸质论文的内容相致。论文的公布包括刊登授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名日期研究生签名导师签名日期万方数据摘要随着云计算技术的迅速发展，使得云数据中心服务器的规模每年都在不断的扩大，产生巨大的能源开销。不合理的调度策略同样导致能源浪费严重，使得云数据中心的运营成本不断增加。因此，绿色云计算的概念应运而生。针对目前云数据中心的高能耗低效率问题，本文围绕着绿色云计算系统模型的构建资源配置和任务调度算法的设计及验证等工作展开了系列的研究与探索，主要包括首先，从实现绿色云计算的内部和外部因素出发，设计了种高效可靠的绿色云计算系统模型。该模型重点着手于系统内部的资源配置模块和任务调度模块，针对这两个子模块的实际需求，给出了具体的实施方案。资源配置模块使得系统资源的分配更加合理，提高了系统资源的利用率，降低了云计算系统整体的能源消耗任务调度模块能够保证云计算系统具有合理的任务调度机制。其次，从全局角度出发，抽象任务调度问题为资源配置问题。通过预测用户请求的负载大小，并结合当前系统状态和资源分布，采取保守控制策略，计算下个周期内任务对系统资源的需求量。然后，建立满足多目标约束的能耗模型，提出基于概率匹配的资源配置算法，实现低能耗资源配置。在此基础上，提出基于改进型模拟退火的资源配置算法，进步降低系统能耗。实验结果表明，采取的预测与控制策略能够有效避免资源配置滞后于用户请求的问题，提高系统的响应比和稳定性提出的资源配置算法能够激活更少主机，实现激活主机集合之间更好的负载均衡和资源的最大化利用，降低云计算系统能耗。最后，为了设计合理的任务调度机制，提出种面向云计算平台任务调度的多级负载评估方法。该方法为绿色云计算系统的任务调度提供种合理的负载评估方法。在此基础上，提出种基于动态负载调节的自适应云计算任务调度策略，任务节点能够自适应负载的变化，按照计算能力获取任务，实现各个节点自调节，同时避免因采用复杂的调度算法，使得管理节点承载巨大的系统开销，成为系统性能瓶颈。实验结果表明，基于动态负载调节的自适应云计算任务调度策略高效可靠，适用于异构云计算集群的计算环境，性能优于现有的任务调度策略。关键词绿色计算，云计算，节能，资源配置，任务调度万方数据.,.,万方数据,.,.万方数据目录缩略词表.第章绪论课题背景和研究意义.本人工作.本文组织.本章小结第二章相关研究工作云计算技术云计算的定义.云计算体系架构.关键技术.典型的云计算平台.云计算仿真平台绿色计算.能耗模型及评价低功耗硬件.体系结构.关闭休眠技术动态电压调整技术.网络通信面向云计算系统的节能机制虚拟化技术.资源配置.任务调度.数据存储与部署.网络结构.温控设施本章小结第三章绿色云计算系统模型系统模型.资源配置模型.任务调度模型.本章小结第四章面向低能耗云计算任务调度的资源预配置算法.问题建模问题分析.多目标约束优化模型资源的预配置预测与控制.基于概率匹配的资源配置算法基于改进型模拟退火的资源配置算法.实验验证与性能分析实验环境.实验结果分析.万方数据性能分析本章小结第五章基于动态负载调节的自适应云计算任务调度策略.面向任务调度的多级负载评估方法负载参数的选择.多级负载评估方法基于动态负载调节的自适应任务调度策略.问题分析.主要思想.算法描述实验验证与性能分析性能指标.实验环境设置.实验结果与性能分析本章小结第六章总结与展望总结.展望参考文献.附录攻读硕士学位期间撰写的论文附录攻读硕士学位期间申请的专利附录攻读硕士学位期间参加的科研项目致谢.万方数据南京邮电大学硕士研究生学位论文缩略词表缩略词表美国国家环境保护局美国国家标准与技术研究院文件系统分布式文件系统应用服务引擎弹性计算云面向资源感知的调度器动态电压调节技术管理节点任务节点用户交互模块计算模块存储模块资源配置模块任务调度模块节点状态监测能耗监测模块温控模块资源调度器任务管理器任务调度器任务缓存通信模块基于概率匹配的资源配置算法基于改进型模拟退火的资源配置算法面向云计算平台任务调度的多级负载评估方法基于动态负载调节的自适应云计算任务调度策略万方数据南京邮电大学硕士研究生学位论文第章绪论第章绪论.课题背景和研究意义云计算是目前计算机领域研究的热点，它将计算任务调度到由大量计算和存储资源节点构成的资源池上，使用户能按需获取计算力存储空间和信息服务。云计算本身是节能的，例如通过虚拟化技术，有效地整合资源，提高资源利用率通过关闭休眠技术，降低空闲能耗，实现能耗的降低。随着云计算技术的迅速发展，使得数据中心发生了巨大的变革，产生了新代的数据中心，称之为云数据中心。云数据中心包含大量服务器，并且这些服务器的数量每年都在不断的增加，即便云计算是节能的，云数据中心每天都在消耗着巨大的能量。据美国国家环境保护局，的数据表明，数据中心的能耗超过了美国能源消耗总量的，占全球能源消耗的.，并且每年在以的速度增长。数据中心能效测评指南显示，我国数据中心总耗电量在年已达亿，占当年全国电力消耗总量的.，相当于年天津市全年的总用电量。目前国内外针对绿色计算的研究与应用已经取得了定的成果，包括能耗模型及评价低功耗硬件体系结构关闭休眠技术动态电压调整技术网络通信等方面针对云计算的节能技术也有系列的研究成果。但是仍然存在着问题，例如当前针对数据中心节能的研究存在局限性，如未考虑云数据中心的规模调节的粒度太粗等。而云数据中心的高能耗，低效率问题已刻不容缓，本文在绿色云计算系统模型资源配置及任务调度等方面进行了系列的研究与探索。本文的研究从实现绿色云计算的内部和外部因素出发，设计了种高效而可靠的绿色云计算系统模型，针对各个子模块的实际需求，给出了具体的实施方案。本文的研究成果能够保证云计算系统具有合理的任务调度机制，使得系统的资源配置更加合理，同时提高了系统资源的利用率，降低了云计算系统整体的能源消耗。.本人工作本人所做工作如下从实现绿色云计算的内部和外部因素出发，设计了种高效可靠的绿色云计算系统模型。该模型重点着手于系统内部的资源配置模块和任务调度模块，针对这两个子模块的实际需求，给出了具体的实施方案。资源配置模块使得系统资源的分配更加合理，提高了系统万方数据南京邮电大学硕士研究生学位论文第章绪论资源的利用率，降低了云计算系统整体的能源消耗任务调度模块能够保证云计算系统具有合理的任务调度机制。从全局角度出发，抽象任务调度问题为资源配置问题。通过预测用户请求，结合当前系统状态和资源分布，采取保守控制策略，计算下个周期内任务对系统资源的需求量。然后，建立满足多目标约束的能耗模型，提出基于概率匹配的资源配置算法，实现低能耗资源配置。在该算法的基础上，提出基于改进型模拟退火的资源配置算法，进步降低系统能耗。实验结果表明，预测算法和保守控制策略能够有效避免资源配置滞后于用户请求的问题，提高系统的响应比和稳定性提出的资源配置算法能够激活更少主机，实现激活主机集合之间更好的负载均衡和资源的最大化利用，降低云计算系统能耗。为了设计合理的任务调度机制，提出种面向云计算平台任务调度的多级负载评估方法。该方法为绿色云计算系统的任务调度提供种合理的负载评估方法。在此基础上，提出种基于动态负载调节的自适应云计算任务调度策略。任务节点在运行的过程中及时地自适应负载的变化，按照计算能力获取任务，实现各个节点自调节，同时避免因采用复杂的调度算法，使得管理节点承载巨大的系统开销，成为系统性能瓶颈。实验结果表明，该策略高效可靠，适用于异构云计算集群计算环境，性能优于现有的任务调度策略。.本文组织本文的内容组织如下第章绪论。介绍了课题背景和研究意义本人的主要工作和本文的组织结构第二章相关研究工作。首先介绍了云计算技术的相关概念和技术。随后就绿色计算的定义和发展现状进行了分析和总结。最后介绍了云计算中的节能技术，从虚拟化技术资源配置任务调度等方面进行了详细的阐述第三章绿色云计算系统模型。提出了种绿色云计算模型，并从系统模型资源配置模型任务调度模型三个方面进行了重点阐述第四章面向低能耗云计算任务调度的资源预配置算法。提出了套完整的绿色云计算数据中心的节能机制，首先介绍了负载预测与控制方法然后建立满足多目标约束的能耗模型，提出了两种面向低能耗云计算任务调度的资源预配置算法，并通过仿真实验证明了这两种算法在降低云系统能耗方面所具有的优势第五章基于动态负载调节的自适应云计算任务调度算法。针对现有任务调度算法存在的问题，首先提出种面向云计算平台任务调度的多级负载评估方法，接着在此基础上，提出万方数据南京邮电大学硕士研究生学位论文第章绪论种基于动态负载调节的自适应云计算任务调度策略，并通过具体的实验说明了该算法的有效性第六章总结与展望。总结了全文所做的研究工作，并对本课题的进步研究进行了展望。.本章小结本章首先介绍了论文的课题背景和研究意义，然后从三个方面概括了本人的主要工作，最后说明了本文的章节安排，并简要介绍了每章的内容。万方数据南京邮电大学硕士研究生学位论文第二章相关研究工作第二章相关研究工作本章首先介绍了云计算技术的相关概念和技术。随后就绿色计算的定义和发展现状进行了分析和总结，主要包括能耗模型及评价低功耗硬件体系结构关闭休眠技术动态电压调整技术网络通信等。最后介绍了面向云计算系统的节能机制，从虚拟化技术资源配置任务调度数据存储与部署网络结构和温控设施六个方面进行了详细的阐述。.云计算技术“云计算”词在年月首次被提出。云计算作为种新技术，在短短数年间就得到了飞速的发展。各大巨头们极大力地推动云计算技术和产品的推广和普及，学术界也对其高度认同