硕士毕业论文可扩展网络附属存储系统集群模块的设计与实现 ㊣ 精品文档 值得下载

文目录集群模块的业务需求集群模块的用户需求集群模块的功能需求集群模块的非功能需求集群模块的概要设计网络通信子模块分析与设计网络通信子模块流程设计元数据设计网络通信子模块详细设计节点管理子模块分析与设计节点管理子模块流程设计节点管理子模块结构设计用户管理子模块分析与设计用户管理子模块数据库设计用户管理子模块结构设计性能监控子模块分析与设计性能监控子模块流程设计设计与使用本章小结第四章集群模块的实现网络通信子模块实现初始化工作实现网络通信机制实现引导界面实现节点管理子模块实现元数据存取实现节点管理界面实现用户管理子模块实现性能监控子模块实现性能图表生成实现性能图表展示实现集群模块实现效果分析测试环境及测试用例效果分析南京大学硕士论文目录本章小结第五章总结与展望总结进步工作展望参考文献致谢版权及论文原创性说明南京大学硕士论文图目录图目录图共享存储集群架构图统文件系统集群架构图特性与需求映射关系图框架图组件结构图树形结构图使用进行序列化图使用进行反序列化图连接过程图模块类关系图合并算法图可扩展产品整体架构图节点管理子模块用例图图用户管理子模块用例图图性能监控子模块用例图图与交互图集群模块的分层架构图系统初始化流程图图节点初始化流程图图元数据树状结构图网络通信子模块类图图文件系统相关类图图节点状态转移图图节点管理子模块系统结构图图用户管理子模块的实体关系图图用户管理子模块的系统结构图图性能监控子模块的泳道图图节点初始化脚本图实现图发送端文件传输方法图接受端文件传输方法图初始化监控界面图元数据读取方法图元数据保存方法图节点管理界面图磁盘管理界面图用户管理界面图类对字段的定义图用户创建页面图类中的方法图用户和群组映射关系管理界面南京大学硕士论文图目录图内存图表的生成方法图性能监控页面效果南京大学硕士论文表目录表目录表启动过程中涉及的命令表提供的函数表用户表的字段表测试服务器配置南京大学硕士论文第章引言第章引言项目背景信息技术正在以前所未有的方式改变着人们的工作和生活方式。

如何应付伴随着信息的高速增长而带来的海量数据的存储，成为摆在业界人士面前的道难题。

为了高效且经济的提供数据的统管理，在存储领域的各大公司均推出了针对企业用户的产品。

是种通过网络提供的集中式数据访问服务，计算节点通过文件传输协议从设备处获得数据。

相比于传统的文件服务器而言，有很多优点。

由于设备用途更为单，所以硬件以及软件配置更为精简，只提供数据访问以及相应的管理功能，可以节约资金因为通过标准的协议获取数据，可以达到不同平台之间的文件共享可以充分的利用网络结构，便于存储系统的升级通过冗余措施来保障数据服务的可靠性。

张继波等，现有的产品分为单节点和多节点两种。

单节点架构简单，造价低，被广大中小企业采用。

缺陷也很明显，只针对单个设备导致存储的可扩展性受限，单纯的通过增加磁盘来扩展存储会使得存储效率下降，通过增加设备又破坏了对数据的统管理单个设备无法实现动态的扩容，在增加磁盘时往往需要停止服务同时基于单个设备的可靠性不的组件可以进行自动化的快速部署。

结合了配置文件，自动化脚本和命令行的功能。

通过对该文件修改以及调用命令可以轻松的完成组件的选择，数据库的配置等功能。

框架的结构遵循了设计模式，但是在实现上与其他的框架有所不同。

其组件结构如图所示。

浏览器服务器请求响应请求中间件视图中间件视图方法数据模型模板响应响应中间件数据库适配器图组件结构南京大学硕士论文第二章技术综述浏览器发出的请求首先交由映射器处理。

请求的核心是等框架将解析过程封装，对应到同名方法中，用户在方法中进行编程。

而在中，程序员需要自己定义的解析，其遵从正则表达式规则，更加灵活和直观。

接收到请求后，根据配置和文件里定义的规则逐条匹配，找到对应的视图方法和视图模板。

视图方法不同于中的视图模板，在视图方法中封装了真实的业务逻辑。

它和映射器共同担当了范式中控制器的角色。

映射器封装了到视图方法的映射关系，视图方法则将数据模型和视图模板联系起来，定义了需要展示的数据。

在视图方法中，也支持技术，允许浏览器端的发出的非顺序性的访问请求。

在中视图方法存放在中。

视图模板是抽象出来的个模块，如果为每个请求写个对应的页面，会造成大量的重复性工作，并且给后期的维护带来很大的问题。

视图模板是具有标签的文本，标签允许程序进行动态的替换，支持简单的逻辑结构，如选择结构或者循环结构。

多个视图方法可以调用同个视图模板，使用不同的数据并对其进行渲染得到最终的页面。

而且在实际使用中，视图模板不仅仅支持，甚至是其他格式的文件供用户下载。

在中，视图模板存放在文件夹下。

数据模型是对真实世界的抽象，数据模型实例化的对象保存的是当前系统的状态，视图方法可以改变数据模型的值，同时也需要调用数据模型的值呈现给用户。

数据模型需要与数据库中的对象保持致。

在中数据模型通过命令建立，保存在文件中。

组件即对象关系映射组件，将数据库中的数据与程序中的对象进行映射，它封装了数据库的调用，将动态的对象自动与数据库记录进行状态同步，降低了开发者的工作量。

同时的支持减少了在程序移植时可能出现的数据库兼容的问题。

请求响应流程对请求的处理流程如下服务器接收到浏览器发出的服务请求，传给。

南京大学硕士论文第二章技术综述将转换为请求对象，该对象的结构是专门为设计的字典结构，可以应对的需求。

在配置文件里寻找请求对应的里的处理函数。

以请求对象为参数传入该视图函数。

视图函数创建个对象。

将对象与中的文件结合，生成文件。

服务器将页面传送给客户端。

中数据处理技术集群模块中涉及到对包括在内的多种数据格式处理以及跨节点的数据传输。

作为解释性语言，对于数据处理非常擅长，常常被用于混合编程中的粘合剂罗霄等，。

在的标准库和扩展库中提供了多个模块对数据处理进行支持。

，处理即可扩展标记语言，由于具有结构化，跨平台等优点，在很多领域已经成为事实上的信息交换标准。

候要红等，是种解释性语言，在处理文本和解析复杂的数据结构方面具有先天性的优势。

很早就内建了对的支持。

在标准库中附带了用语言编写的解析器，可以直接把文件转换为内存中的以元素为叶子的树状结构。

图树形结构南京大学硕士论文第二章技术综述推荐的对和的解析标准是通过文档对象模型，简称。

，是种平台和语言的接口，它允许程序或者脚本动态的访问更新文档的内容结构和样式。

文档可以被深度处理，并且处理的结果可以更新原有的文档，图展示了个页面的的树形结构。

由于只实现了的个子集，所以提供了扩展包实现了完整的对的访问接口。

除此以外还实现了验证工具。

极大的简化了处理工作，当然这种便利性伴随着性能的下降。

，在可扩展的集群模块中，存放节点信息和磁盘信息的元数据对集群中所有节点是透明的，这部分的信息存在格式固定，读取频率远大于写入频率的特点，因此采用格式存储，项目中采用了获得较高的可扩展性。

数据序列化技术在中数据是由基本的对象组成的，为了避免转换为带来的性能损失，提供了序列化功能可以完成对象和字符串之间的相互转化。

在可扩展产品的集群模块中，除了元数据以外其他中间状态数据采用序列化技术保存在磁盘上或者在节点之间进行共享。

图使用进行序列化提供了模块进行数据的序列化，该模块提供了和两个方法完成序列化和反序列化。

由于模块仅支持的基本数据类型和它们的组合，同时在不同的发行版本之间不能保证反序列化的成南京大学硕士论文第二章技术综述功。

本项目中采用了模块，该模块与作用相近，但是可以获得更好的版本兼容性。

可以序列化和反序列化的基本数据类型以及类生成的实例。

使用语言实现的和具有相同的功能，并且具有更高的效率。

图展示了序列化的过程。

方法默认是使用版本兼容的序列化方法，但是也提供了可选参数牺牲兼容性达到与模块相同的序列效率。

通过方法得到的字符串可以用于存储，网络传输或者加密。

只要字符串本身的结构和内容没有发生改变，都可以被方法识别，方法会遵守的顺序取出对象，在到达末尾时返回标志。

图展示了对应上文的反序列化的过程。

，图使用进行反序列化为了解决采用不同存储协议带来的反序列化问题，在存储时会将协议和数据同时放入文件，模块在反序列化的时候，方法可以检测出自身需要采用的协议，传入的对象参数只要带有方法即可。

同时，支持在序列化的同时进行压缩，保证数据在存储和网络传输时更有优势。

，网络数据传输在可扩展系统集群模块中，节点发现和通信用到了网络通信技术。

在基于协议的网络中，数据传输的基石和基本通信单元是套接字技术。

，应用程序可以利用操作系统提供的接口，实现在不同进程或者网络中不同节点的数据传输。

图显示了建立连接的基本过程。

通信发生在服务器端和客户端，服务器端创建并且绑定端口，之后进入监听状态。

请求连接由客户端发起，双方建立或者连接，进行数据的传输。

南京大学硕士论文摘要研究生毕业论文申请工程硕士学位论文题目可扩展网络附属存储系统集群模块的设计与实现作者姓名学科专业名称工程硕士软件工程方向研究方向指导教师南京大学硕士论文摘要摘要随着信息技术的发展，企业的生产经营对于电子数据的依赖越来越大。

很多企业面对大量数据存在存储，管理，使用等系列问题。

网络附属存储，简称产品在数据存储领域由于具有用途专，性价比高，支持多种数据传输协议的特点而被很多企业采用。

传统的产品是基于单个节点，存在先天性的缺陷。

其可靠性差，扩展困难等缺点难以适应当代企业全天候数据服务的需求。

本文将介绍个可扩展的产品，它是基于公司的通用并行文件系统，可以在提供数据服务的同时进行扩展，备份等操作。

可扩展产品提供了基于的管理系统，易于部署和管理。

此外，企业可以根据当前数据量对节点数目进行调整，可以有效降低采购和运营成本。

本文以可扩展产品为项目背景，详细介绍了其集群模块的分析，设计和实现。

本文首先介绍了可扩展产品的背景，以及国内外产品发展的现状。

介绍可扩展产品集群模块在项目中的作用和地位。

介绍了产品网络层，数据层，服务层，表现层的四层架构。

接着本文介绍了在集群模块开发过程中使用的技术和工具。

然后，本文在需求分析的基础上介绍了集群模块的设计和实现。

详细分析了集群模块的四个主要的功能子模块，网络通信子模块，节点管理子模块，权限管理子模块和性能监控子模块。

本文对各个子模块的功能设计，关键流程设计进行了阐述，并且