性能计算平台构建方案采用并行计算可以很好的解决在本文第章中提到的问题，首先在计算速度上，采用并行计算明显加速，如图所示图问题在集群上计算时间与个数的关系另外，对于大问题采用并行算法，分解问题本身，对于单机不需要过多的内存，对于需要大量内存的问题可以计算。对于个典型的不规则区域，可以分解为如图所示。图个典型的不规则区域分解示例如果采用平分算法，则有假如单个大问题需要内存，问题平分为份，则所分解的每个子问题所需要的内存，当比较大时，单机所需要的内存就会很小。个数计算时间基于机群的高性能计算平台构建方案高性能计算环境所谓高性能计算环境简单说来就是由多个处理单元简称组成的系统，这些处理单元相互通信和协作，能快速高效求解高效大型复杂问题的系统。当前流行的高性能并行机体系结构包括类，是对称多处理共享存储并行机，二是分布共享存储并行机，三是大规模并行机，三是工作站微机机群。对于这类计算环境，目前都有应用，其性能比较如表所示表各体系结构计算机比较项目体系成本通信延迟可扩展性最大总内核可靠性适中低较差差较高较低稍好无限制较好很高较低好无限制好低较高很好无限制很好随着商用微处理器性能的飞速发展，低延迟高带宽商用网络交换机的出现，和操作系统等自由软件的成熟，并行计算机不再是个只有大型科研单位才能拥有的设备。例如，将台当前市场上最高性能的的微机通过个端口的的网络交换机相互联接，即可构成浮点峰值性能在亿次左右的并行机，而其成本不超过万元人民币，性能价格比远远高于以上提到的各类并行机倍以上，国际上称该类自行研制的并行机为机群。尽管微机机群在通信性能稳定性和使用方便等方面有待大幅度提高，但是，它们以其他并行机无法比拟的性能价格比，近年来已经成为了高性能并行计算中的支不可忽视的重要力量。目前，在我国的各个大学和科研机构，例如中科院北京大学清华大学等，微机机群也得到了快速发展和推广应用。特别地，在年底的排名中，美国国家重点实验室自行研制的机群排名第位。基于机群的高性能计算平台构建方案图微机机群示意图微机机群的体系结构如图所示，多台高性能微机通过商用网络交换机相互联接，并拥有各自的操作系统主板内存硬盘和其他设备，构成机群的计算结点。配置台或多台文件服务器，方面管理机群计算结点共享的所有软件和用户计算资源，另方面充当机群与外部网络的联接桥梁，外部科研网的用户只有通过文件服务器才能使用机群的计算资源。由于受商用交换机网络性能和操作系统功能的影响，微机机群的处理机规模般限制在台左右。但是，如果将交换机替换成专用机群网络，例如等，则它们的规模可以进步扩大。因此，在当前技术条件下，微机机群般可提供千亿次左右的浮点峰值性能。硬件的选购与配置布置个机群，硬件选型是个系统工程，根据需要高性能计算的要求，机群硬件购置般要考虑到任务量与价格两个因素。用户计算任务量的需求。在任何时候，用户任务量是主要需要考虑的，如果任务量不大，购买太多的硬件资源造成资源浪费。任务量比较大，而购买太少的硬件又无法满足要求。价格因素。当然就任务量来说，硬件配置是越高越好，但是硬件配置越高，所需的资金也越多。这就需要和任务量在企业内部做个权衡。另外从技术上来说，主要是机群的基本构成与基本成熟机群的选择，这也是本节要讨论的主要问题。微机微机微机微机微机文件服务器网络交换机外部网络基于机群的高性能计算平台构建方案机群的硬件构成图个典型的机群系统如图所示，个典型的机群包括以下硬件多台微机或者工作站，每台机器都有自己的内存硬盘以及其它辅助设备。每台机器的配置可高可低，主要依赖于公司物力财力高速内连网络，计算节点之间的网络对计算性能的影响很大，直接影响到计算速度与计算可靠性。般说来，专用网络如其可靠还可进行远程设置。基于机群的高性能计算平台构建方案图集群管理软件原理图还具有将个系统配置向集群中的所有计算节点传播的功能。可以通过网络将个映像服务器的磁盘分区内容克隆到计算节点本地磁盘中。这可用于计算节点的首次安装，以及向核心或当前系统配置传播更新内容等。在目标分区与初始映像不同的情况下，则会重点考虑目标磁盘分区。在克隆阶段对目标磁盘进行分区，避免了在初次安装期间对各个计算节点进行分区。集群管理实用程序可以有效地管理大量计算节点。带有图形用户界面，可以根据需要和集群中任意数量的节点进行定制。借助，只需在单显示屏上单击鼠标即可访问所有的计算节点控制台。主窗口可通过访问配置显示界面来设置控制台服务器硬件。通过，可以监控暂停启动重启或关闭选定的任何节点。还可以连接到集群中的多个节点，并通过次键盘输入以广播的方式向其发出命令。也可以管理来自集群的事件，如节点的增加或减少等。但是也有其致命的缺点，第是基于的，效率比较低，另个是不能监控，同时在不能操作，限制了其应用。是由公司研发的款管理机群资源与作业调度的软件，的核心是,它是第个，也是迄今唯个具有虚拟化和自动化功能，并且能够在所有类应用程序之间共享所有资源的网格平台。提供了灵活的模块式的方法，能够把所有类型的企业应用程序汇总到个单的连贯的高效的系统中。能够把资源管理和负载管理分离开，从而根据企业的商业战略对资源进行有效的分配，优先级调度和管理。这样来，企业就可以实现向上扩展和向外扩展，并提升应用程序的性能，改善资源利用情况，促进整体管理。为带有数百到数万个的企业提供了过去的年基于机群的高性能计算平台构建方案所积累的先进的网格技术。以智能方式对并行和串行负载进行排程，以便克服主要困难，并最大限度地利用计算资源。是经过业界验证的方案。目前在世界上顶尖的台超级计算机中，就有若干台运行该方案。带有专利待决功能和基于拓扑的排程功能，可以帮助您充分利用集群系统和超级计算机中的高性能网络互连。是整套的解决方案，如图所示图软件系统体系结构虽然有比较好的机群管理方案，但它的系统是个整体，部署套价格不菲。自主研发的机群系统管理软件介绍我们自主研发的系统，我们称我们的机群管理为系统，而不是软件，因为我们的管理系统从本质上来说是由系列系统管理软件与作业管理软件组成的系统，不管是软件还是系统，以下都统简称为。系统采用模块化的组成方式，在后台存在系列的工具软件，然后通过服务器脚本集成到个界面中。针对的集群构架如图所示基于机群的高性能计算平台构建方案图系统所针对的基本系统构架图集群管理软件基本构架基于机群的高性能计算平台构建方案与样，所采用的也是模块化的方式，对于每个对应的功能，都有单独的模块与之相对应，用户只需要点击相应按钮，即可得到其所需要的结果。具体而言，具有以下特点与功能完全基于的操作方式在与中，关键的控制还是应用或者别的工具进行远程登录，然后进行相关操作。这样就要求管理人员具有良好的使用基础，而且容易误操作。系统把常规的操作都通过页面显示，然后点击页面上的按钮或者填写表单的形式进行。从而大大降低了操作的难度。真正做到了集群管理的所见即所得理念。如图所示，如需查看机器的内存状态，只需点击左边的内存状态功能按钮，在右边就会有相应的执行结果显示。图显示机器的内存使用状态实时资源使用状态监控在的底层，对应有很多的资源监控模块，实时监控着各种资源的动态使用情况，例如利用率，内存利用率，网络流量，硬盘利用率等。在监控中的优势在于自身所占资源少，并且监控到的信息量比较大。在很多的监控中，监控软件直接处理为所需要的结果保存。这样在中间就需要大量的时间。所采用的策略是，先把监控的信息用比较少的时间存为个中间结果，只有在查看或者要报表调用时才处理成最终图片格式。基于机群的高性能计算平台构建方案远程起停机群当机群中的台机器出现故障，维护等，需要停止重启启动等操作，中有相应的模块。停机与重启比较简单，用个命令即可。启动过程需要硬件的支持。但是当机器已经严重故障，不接受指令时，就需要特殊的硬件支持即可。可定制的管理模块作为常规管理，作为高性能机群管理，我们常规的模块都能基本满足要求。但是每个公司都有每个公司自己的习惯与行情，故每个公司在机群管理上也许有特殊的要求，我们也可以根据具体需求定制新的功能模块，加入原系统即可。由于功能之间是分开的，新加的模块不会影响原始模块。机群作业管理软件机群作业管理软件，是机群管理的核心。机群作业管理软件，其目的简单说来就是提交作业的软件，对于每个作业管理系统，都有个总体的目标利用大家熟悉简单方便快捷的图形管理方式提交并执行作业，对于计算机到底如何提交执行的底层过程我们不必关心。对于提交流程，要求直观简单，安全。机群作业管理软件开发的背景当机群硬件构建完成，而且各种系统软件与工程计算软件安装调试完毕，并且具有硬件管理的能力。从理论上说，机群系统提议提供很强的计算能力，用户可以通过高速宽带网远程或者本地使用这些高性能计算资源。但是如果没有高效方便的应用软件支持，机群系统的性能就不能有效的发挥出来。机群系统中的个重要的基础软件就是用于管理用户提交作业的作业管理软件，如果没有这种软件，系统资源的管理将会杂乱无章，各类资源不能有效的利用起来，用户之间的作业也可能会发生冲突，最终可能会造成谁都想用但谁都用不好的局面。因此，基于机群的高性能计算平台构建方案提供个界面友善操作简便运行高效的作业管理系统是很有必要的。于是机群作业软件就在这样的背景下产生了。目前主流的解决方案介绍目前的几十种机群作业管理系统，在目标结构功能和实现上各有差异，从不同侧面反映了机群作业管理系统所应具有的特性。是当今颇具代表性和影响力的几种机群作业管理系统。其中是研究产品，是商业软件。下面，我们对这几种作业管理系统进行简单介绍和讨论。最初由的研究中心研发，为了提供个能满足异构计算网络需要的软件包，特别是满足高性能计算的需要。他力求提供对批处理的初始化