很难去管理大量元数据。此外，这将导致一个低效率数据访问模式，因为它将需要大量有DataNode到DataNode寻道操作，以搜索和检索请求文件块。.对MapReduce影响数量庞大小文件将消耗MapReduce额外开销，由于Map任务通常在同一时刻只读取一块输入数据，并且每个Map任务将只处理很少一点数据。这样就会导致大量Map任务。.为什么小文件被制作出来？无论这些文件时比较大文件碎片或者他们是自然产生。一两个这两种情况会在大多数环境中使我们面临小文件问题。图：小文件问题.小文件问题特征这个问题中一个重要原因是NameNode不得不管理大量元数据在它内存中。另外一个问题涉及每个DataNode启动时扫描它文件系统来取得它持有文件中数据被发送到NameNode所需要块报告所经历时间。小文件数量越大，需要时间就越长。在集群中，管理员将对目录用户配额提供两种选择：.每个目录下存放最大数量文件.对列表过大，为了适应内存容量，可能会进行迭代操作。更新这些从属于一个特有键值集合使它们变为一个更小值集合是Reduce函数任务。如果用户希望得到一个更小输出值集合，他/她通过将这个输出作为下一个输入，避免人工地将这个输出作为另一个MapReduce输入，从而完成一嵌套MapReduce调用。举个简单例子，我们可以算一组URL访问频率，如果我们给网页请求日志作为输入到MapReduce计算。该Map函数产生。Reduce函数总结值相同URL，并生成一个对，从而计算出该URL访问频率。在图中，我们可以看到Map和Reduce任务被master节点分配道不同节点，而且将输入划分给不同节点来分配不同Map作业，从而产生各自中间值。master节点将被每个节点告知中间值产生位置。在获取这些信息时候，master节点将它传递给指定节点与reduce任务终于完成了合并工作，产生输出文件。图：MapReduce执行概要.Hadoop分布式文件系统hadoop分布式文件系统是被hadoop使用文件系统。它与UNIX文件系统非常类似，并且被开发来支持Hadoop在数据密集型分布式计算。在Hadoop实现一个集群情况下，根据雅虎，ApacheHadoop项目最大贡献者目前设计，每个集群作为NameNode一个节点，它存储所有文件元数据。应用程序数据将被存储在DataNodes之中。如果用户希望执行读操作，则该请求将被NameNode处理并且它会提供数据块构成位置文件。客户端将从最接近DataNode进行读取操作。对于写操作，NameNode会选择一组DataNodes（默认情况下），负责对每个文件块备份而客户将以流水闲方式将这些文件块写入那些DataNodes节点中。在集群中，当一个DataNode启动时，他将和NameNode进行一次握手，这是为了保证数据完整性。在握手过程中，命名空间ID和DataNode软件版本将会被检测。只有命名空间ID相同且DataNode软件版本支持情况下DataNode才会被允许进入集群。每个DataNode都会定期发送块报告给Namenode，来提供关于块拷贝信息，从而帮助NameNode收集每个块拷贝文件信息。这样，就保持了数据一致性。此外，DataNode每隔秒钟就发送一次心跳（heartbeats），来确认现在可用节点，同时文件块拷贝他持有信息。如果NameNode在一段时间内，比如说分钟，没有收到来自DataNode心跳，那么他将认为DataNode以及它块拷贝是不可用，并且在集群中选择那些可用块中重建它们新拷贝。图HDFS结构NameNode会为元数据分配空间，并且平衡集群中正在使用包含心跳信息DataNode之间负载。从图我们可以看出HDFS体系结构示意图，以及读取和写入操作。小文件问题让我们来讨论这个问题对我们之前讨论hadoop两大组件，Hadoop分布式文件系统和MapReduce影响。科研应用环境中，如气候学，天文学中，含有大量小文件。.对HDFS影响默认情况下，HDFS块大小为MB。任何比这个空间更小文件都被认为是小文件。我们知道，NameNode会负责保持集群中DataNode中每个DataNode元数据。如果每一个DataNode都含有数量不确定小文件，显然NameNode将很难去管理大量元数据。此外，这将导致一个低效率数据访问模式，因为它将需要大量有DataNode到DataNode寻道操作，以搜索和检索请求文件块。.对MapReduce影响数量庞大小文件将消耗MapReduce额外开销，由于Map任务通常在同一时刻只读取一块输入数据，并且每个Map任务将只处理很少一点数据。这样就会导致大量Map任务。.为什么小文件被制作出来？无论这些文件时比较大文件碎片或者他们是自然产生。一两个这两种情况会在大多数环境中使我们面临小文件问题。图：小文件问题.小文件问题特征这个问题中一个重要原因是NameNode不得不管理大量元数据在它内存中。另外一个问题涉及每个DataNode启动时扫描它文件系统来取得它持有文件中数据被发送到NameNode所需要块报告所经历时间。小文件数量越大，需要时间就越长。在集群中，管理员将对目录用户配额提供两种选择：.每个目录下存放最大数量文件.显而易见。Hadoop有很大潜力。这是因为独特分布式计算方法和最终合并结果。伴随着被定制高效文件系统保证全部潜力发挥。我们已经讨论了所面临Hadoop一个缺点，在某些环境中，那里有大量小文件降低Hadoop性能。简要解释了两种现有解决方案，以及它们各自优点和缺点。最后，我们提出了结合现有解决方案优点解决方案。同时筛选出他们所面对缺点。提出解决方案，完全实施后，预计将提高Hadoop在所谓小文件问题导致性能下降问题中性能。未来工作在我们工作下一个里程碑将是成功提高输入文件本质上是小情况下hadoop运算效率。这方面一个扩展可以是一个能够有效地管理小文件，无论是本身就是小文件还是其他情况，这样能更加方便程序员编程，使他们减少对分布式复杂性考虑。参考文献.Dean,J.,Ghemawat,S.:MapReduce:SimplifiedDataProcessingonLargeClusters.In:ProceedingsofthethSymposiumonOperatingSystemsDesignandImplementation,SanFranciscoCA(December).Shvachko,K.,Kuang,H.,Radia,S.,Chansler,R.:TheHadoopDistributedFileSystem.In:ProceedingsofthethIEEESymposiumonMassiveStorageSystemsandTechnologies(May).Mackey,G.,Sehrish,S.,Wang,J.:ImprovingMetadataManagementforSmallFilesinHDFS.In:ProceedingsofIEEEInternationalConferenceonClusterComputingandWorkshops,pp.–(August).Satyanarayanan,M.:ASurveyofDistributedFileSystems,TechnicalReportCMU-CS--,DepartmentofComputerScience,CarnegieMellonUniversity().HadoopArchives:ArchivesGuide(),http://hadoop.apache.org/core/docs/r../hadoop_archives.html.HadoopDistributedFileSystem:HDFSArchitecture(),http://hadoop.apache.org/common/docs/r../hdfsdesign.html.Themajorissuesidentified:Thesmallfilesproblem(),http://www.cloudera.com/blog////the-small-files-problem.Introduction:WhatisHadoop(),http://www.cloudera.com/blog/what-is-hadoop.HadoopDistributedFileSystem:WelcometoHadoopDistributedFileSystem!(),http://hadoop.apache.org/hdfs.MapReduce:WelcometoHadoopMapReduce!(),http://hadoop.apache.org/mapreduce        中文4310字对于Hadoop处理小文件的性能优化NeethuMohandas和SabuM.Thampi印度科钦Rajagiri工程与技术学院摘要Hadoop是由DongCutting提出的，一个顶级的Apache项目。
        用于支持千级别的庞大数据的分布式应用。
        它是一个开源的软件框架，灵感来自于谷歌的MapReduce编程模型和谷歌的系统文件。
        它是由全球社区的开发者用java共同研对列表过大，为了适应内存容量，可能会进行迭代操作。更新这些从属于一个特有键值集合使它们变为一个更小值集合是Reduce函数任务。如果用户希望得到一个更小输出值集合，他/她通过将这个输出作为下一个输入，避免人工地将这个输出作为另一个MapReduce输入，从而完成一嵌套MapReduce调用。举个简单例子，我们可以算一组URL访问频率，如果我们给网页请求日志作为输入到MapReduce计算。该Map函数产生。Reduce函数总结值相同URL，并生成一个对，从而计算出该URL访问频率。在图中，我们可以看到Map和Reduce任务被master节点分配道不同节点，而且将输入划分给不同节点来分配不同Map作业，从而产生各自中间值。master节点将被每个节点告知中间值产生位置。在获取这些信息时候，master节点将它传递给指定节点与reduce任务终于完成了合并工作，产生输出文件。图：MapRed中文字对于Hadoop处理小文件性能优化NeethuMohandas和SabuM.Thampi印度科钦Rajagiri工程与技术学院摘要Hadoop是由DongCutting提出，一个顶级Apache项目。用于支持千级别庞大数据分布式应用。它是一个开源软件框架，灵感来自于谷歌MapReduce编程模型和谷歌系统文件。它是由全球社区开发者用java共同研发。Hadoop被广泛地应用与世界各地各种学术科研机构和商业组织，还包括了commonhadoop，hadoop文件系统(HDFS)和MapReduce作为其子项目。commonhadoop包含了支持其他子项目通用工具。HDFS是一个高性能分布式文件系统，Hadoop给予了HDFS高度访问程序数据性能。它还通过数据复制提高了可靠性，并同时保持数据完整性。MapReduce是基于MapReduce算法一个能在集群上进行大量分布式数据计算软件框架。虽然Hadoop被广泛使用，但是由于种种问题，它潜力还没有被充分发挥出来，小文件问题就是其中之一。在hadoop..版本开始，hadoop归档被作为处理小文件解决方案被引入hadoop。文件序列化也可以作为一种解决方案。这两种解决方案各自有自己优点和缺点。我们提出与建议预计将获得两个解决方案优点，同时确保hadoop有一个更好性能。关键词：hadoop，hadoop分布式文件系统（HDFS）,MapReduce，小文件问题，hadoop归档，文件序列化绪论在分布式计算时代，hadoop飞速发展起来，它在涉及TB和PB级别计算处理中，表现出极佳性能和高效处理能力。这些成就可能源于一个名为MapReduce底层软件架构和一个名为HDFS分布式文件系统。MapReduce正像它名字表现，是一个基于Map和Reduce两步支持大量计算软件框架。Map和Reduce两个步骤概念都源于函数是编程语言。在年OSDI中，谷歌提交了一份关于MapReduce文件，标志着这项工程动工。Hadoop是基于javaMapReduce实现，它基本概念即为将一个巨大难以管理计算分成更小可管理块。HDFS，从另一方面来说，是受了谷歌文件系统启发。它依靠它可靠数据存储，数据高完整性，以及最重要高吞吐量，来支持hadoop高性能大型计算。因此，Hadoop广泛地受到了网络，搜索，金融，科研机构等市场青睐。研究背景.MapReduce程序员们从这个框架中受益良多，因为他们可以避免考虑应用程序复杂分布式运算所带来头痛。这是因为分布式运算可能需要将输入分片，分配给集群中一组计算节点，管理系统故障，节点间通信都需要实时考虑。程序员可以方便地运用分布式框架进行分布式编程，即使他们没有多少分布式计算经验，而hadoop就是其中最受程序选喜爱一个分布式编程框架。基本编程模型可以描述为一个Map任务和一个Reduce任务组合。要执行计算，就需要提供一组键值对作为最初输入。然后计算完成后，最终产生一组键值对作为输出。在具有MapReduce库情况下，计算可以被看做是两个函数，Map和Reduce。Map和Reduce函数都会被用户重写。Map函数将接受一组键值对作输入，并且将一组键值对作为中间输出。然后，MapReduce库根据键唯一性将这些值组合起来，然后将它传递给Reduce函数。如果键值对列表过大，为了适应内存容量，可能会进行迭代操作。更新这些从属于一个特有键值集合使它们变为一个更小值集合是Reduce函数任务。如果用户希望得到一个更小输出值集合，他/她通过将这个输出作为下一个输入，避免人工地将这个输出作为另一个MapReduce输入，从而完成一嵌套MapReduce调用。举个简单例子，我们可以算一组URL访问频率，如果我们给网页请求日志作为输入到MapReduce计算。该Map函数产生。Reduce函数总结值相同URL，并生成一个对，从而计算出该URL访问频率。在图中，我们可以看到Map和Reduce任务被master节点分配道不同节点，而且将输入划分给不同节点来分配不同Map作业，从而产生各自中间值。master节点将被每个节点告知中间值产生位置。在获取这些信息时候，master节点将它传递给指定节点与reduce任务终于完成了合并工作，产生输出文件。图：MapReduce执行概要.Hadoop分布式文件系统hadoop分布式文件系统是被hadoop使用文件系统。它与UNIX文件系统非常类似，并且被开发来支持Hadoop在数据密集型分布式计算。在Hadoop实现一个集群情况下，根据雅虎，ApacheHadoop项目最大贡献者目前设计，每个集群作为NameNode一个节点，它存储所有文件元数据。应用程序数据将被存储在DataNodes之中。如果用户希望执行读操作，则该请求将被NameNode处理并且它会提供数据块构成位置文件。客户端将从最接近DataNode进行读取操作。对于写操作，NameNode会选择一组DataNodes（默认情况下），负责对每个文件块备份而客户将以流水闲方式将这些文件块写入那些DataNodes节点中。在集群中，当一个DataNode启动时，他将和NameNode进行一次握手，这是为了保证数据完整性。在握手过程中，命名空间ID和DataNode软件版本将会被检测。只有命名空间ID相同且DataNode软件版本支持情况下DataNode才会被允许进入集群。每个DataNode都会定期发送块报告给Namenode

文档预览结束

找同类相似 下载到手机