1、的项目。用于支持千级别的庞大数据的分布式应用。它是个开源的软件框架，灵感来自于谷歌的编程模型和谷歌的系统文件。它是由全球社区的开发者用共同研对列表过大，为了适应内存容量，可能会进行迭代操作。更新这些从属于个特有键值集合使它们变为个更小值集合是函数任务。如果用户希望得到个更小输出值集合，他她通过将这个输出作为下个输入，避免人工地将这个输出作为另个输入，从而完成嵌套调用。举个简单例子，我们可以算组访问频率，如果我们给网页请求日志作为输入到计算。该函数产生。函数总结值相同，并生成个对，从而计算出该访问频率。在图中，我们可以看到和任务被节点分配道不同节点，而且将输入划分给不同节点来分配不同作业，从而产生各自中间值。节点将被每个节点告知中间值产生位置。。
2、开始，归档被作为处理小文件解决方案被引入。文件序列化也可以作为种解决方案。这两种解决方案各自有自己优点和缺点。我们提出与建议预计将获得两个解决方案优点，同时确保有个更好性能。关键词，分布式文件系统小文件问题，归档，文件序列化绪论在分布式计算时代，飞速发展起来，它在涉及和级别计算处理中，表现出极佳性能和高效处理能力。这些成就可能源于个名为底层软件架构和个名为分布式文件系统。正像它名字表现，是个基于和两步支持大量计算软件框架。和两个步骤概念都源于函数是编程语言。在年中，谷歌提交了份关于文件，标志着这项工程动工。是基于实现，它基本概念即为将个巨大难以管理计算分成更小可管理块。，从另方面来说，是受了谷歌文件系统启发。它依靠它可靠数据存储，数据高完整性。
3、，因为它将需要大量有到寻道操作，以搜索和检索请求文件块。.对影响数量庞大小文件将消耗额外开销，由于任务通常在同时刻只读取块输入数据，并且每个任务将只处理很少点数据。这样就会导致大量任务。.为什么小文件被制作出来无论这些文件时比较大文件碎片或者他们是自然产生。两个这两种情况会在大多数环境中使我们面临小文件问题。图小文件问题.小文件问题特征这个问题中个重要原因是不得不管理大量元数据在它内存中。另外个问题涉及每个启动时扫描它文件系统来取得它持有文件中数据被发送到所需要块报告所经历时间。小文件数量越大，需要时间就越长。在集群中，管理员将对目录用户配额提供两种选择.每个目录下存放最大数量文件.显而易见。有很大潜力。这是因为独特分布式计算方法和最终合并结。
4、在获取这些信息时候，节点将它传递给指定节点与任务终于完成了合并工作，产生输出文件。图中文字对于处理小文件性能优化和.印度科钦工程与技术学院摘要是由提出，个顶级项目。用于支持千级别庞大数据分布式应用。它是个开源软件框架，灵感来自于谷歌编程模型和谷歌系统文件。它是由全球社区开发者用共同研发。被广泛地应用与世界各地各种学术科研机构和商业组织，还包括了，文件系统和作为其子项目。包含了支持其他子项目通用工具。是个高性能分布式文件系统，给予了高度访问程序数据性能。它还通过数据复制提高了可靠性，并同时保持数据完整性。是基于算法个能在集群上进行大量分布式数据计算软件框架。虽然被广泛使用，但是由于种种问题，它潜力还没有被充分发挥出来，小文件问题就是其中之。在版。
5、很难去管理大量元数据。此外，这将导致个低效率数据访问模式，因为它将需要大量有到寻道操作，以搜索和检索请求文件块。.对影响数量庞大小文件将消耗额外开销，由于任务通常在同时刻只读取块输入数据，并且每个任务将只处理很少点数据。这样就会导致大量任务。.为什么小文件被制作出来无论这些文件时比较大文件碎片或者他们是自然产生。两个这两种情况会在大多数环境中使我们面临小文件问题。图小文件问题.小文件问题特征这个问题中个重要原因是不得不管理大量元数据在它内存中。另外个问题涉及每个启动时扫描它文件系统来取得它持有文件中数据被发送到所需要块报告所经历时间。小文件数量越大，需要时间就越长。在集群中，管理员将对目录用户配额提供两种选择.每个目录下存放最大数量文件.对列。
6、作，产生输出文件。图执行概要.分布式文件系统分布式文件系统是被使用文件系统。它与文件系统非常类似，并且被开发来支持在数据密集型分布式计算。在实现个集群情况下，根据雅虎，项目最大贡献者目前设计，每个集群作为个节点，它存储所有文件元数据。应用程序数据将被存储在之中。如果用户希望执行读操作，则该请求将被处理并且它会提供数据块构成位置文件。客户端将从最接近进行读取操作。对于写操作，会选择组默认情况下，负责对每个文件块备份而客户将以流水闲方式将这些文件块写入那些节点中。在集群中，当个启动时，他将和进行次握手，这是为了保证数据完整性。在握手过程中，命名空间和软件版本将会被检测。只有命名空间相同且软件版本支持情况下才会被允许进入集群。每个都会定期发送块报告。
7、件系统非常类似，并且被开发来支持在数据密集型分布式计算。在实现个集群情况下，根据雅虎，项目最大贡献者目前设计，每个集群作为个节点，它存储所有文件元数据。应用程序数据将被存储在之中。如果用户希望执行读操作，则该请求将被处理并且它会提供数据块构成位置文件。客户端将从最接近进行读取操作。对于写操作，会选择组默认情况下，负责对每个文件块备份而客户将以流水闲方式将这些文件块写入那些节点中。在集群中，当个启动时，他将和进行次握手，这是为了保证数据完整性。在握手过程中，命名空间和软件版本将会被检测。只有命名空间相同且软件版本支持情况下才会被允许进入集群。每个都会定期发送块报告给，来提供关于块拷贝信息，从而帮助收集每个块拷贝文件信息。这样，就保持了数据致性。。
8、作为中间输出。然后，库根据键唯性将这些值组合起来，然后将它传递给函数。如果键值对列表过大，为了适应内存容量，可能会进行迭代操作。更新这些从属于个特有键值集合使它们变为个更小值集合是函数任务。如果用户希望得到个更小输出值集合，他她通过将这个输出作为下个输入，避免人工地将这个输出作为另个输入，从而完成嵌套调用。举个简单例子，我们可以算组访问频率，如果我们给网页请求日志作为输入到计算。该函数产生。函数总结值相同，并生成个对，从而计算出该访问频率。在图中，我们可以看到和任务被节点分配道不同节点，而且将输入划分给不同节点来分配不同作业，从而产生各自中间值。节点将被每个节点告知中间值产生位置。在获取这些信息时候，节点将它传递给指定节点与任务终于完成了合并。
9、表过大，为了适应内存容量，可能会进行迭代操作。更新这些从属于个特有键值集合使它们变为个更小值集合是函数任务。如果用户希望得到个更小输出值集合，他她通过将这个输出作为下个输入，避免人工地将这个输出作为另个输入，从而完成嵌套调用。举个简单例子，我们可以算组访问频率，如果我们给网页请求日志作为输入到计算。该函数产生。函数总结值相同，并生成个对，从而计算出该访问频率。在图中，我们可以看到和任务被节点分配道不同节点，而且将输入划分给不同节点来分配不同作业，从而产生各自中间值。节点将被每个节点告知中间值产生位置。在获取这些信息时候，节点将它传递给指定节点与任务终于完成了合并工作，产生输出文件。图执行概要.分布式文件系统分布式文件系统是被使用文件系统。它与。
10、。伴随着被定制高效文件系统保证全部潜力发挥。我们已经讨论了所面临个缺点，在些环境中，那里有大量小文件降低性能。简要解释了两种现有解决方案，以及它们各自优点和缺点。最后，我们提出了结合现有解决方案优点解决方案。同时筛选出他们所面对缺点。提出解决方案，完全实施后，预计将提高在所谓小文件问题导致性能下降问题中性能。未来工作在我们工作下个里程碑将是成功提高输入文件本质上是小情况下运算效率。这方面个扩展可以是个能够有效地管理小文件，无论是本身就是小文件还是其他情况，这样能更加方便程序员编程，使他们减少对分布式复杂性考虑。参考文献.,.,.,,,..,.,.,,,.,.!,.!,中文字对于处理小文件的性能优化和.印度科钦工程与技术学院摘要是由提出的，个顶。
11、外，每隔秒钟就发送次心跳，来确认现在可用节点，同时文件块拷贝他持有信息。如果在段时间内，比如说分钟，没有收到来自心跳，那么他将认为以及它块拷贝是不可用，并且在集群中选择那些可用块中重建它们新拷贝。图结构会为元数据分配空间，并且平衡集群中正在使用包含心跳信息之间负载。从图我们可以看出体系结构示意图，以及读取和写入操作。小文件问题让我们来讨论这个问题对我们之前讨论两大组件，分布式文件系统和影响。科研应用环境中，如气候学，天文学中，含有大量小文件。.对影响默认情况下，块大小为。任何比这个空间更小文件都被认为是小文件。我们知道，会负责保持集群中中每个元数据。如果每个都含有数量不确定小文件，显然将很难去管理大量元数据。此外，这将导致个低效率数据访问模式。
12、以及最重要高吞吐量，来支持高性能大型计算。因此，广泛地受到了网络，搜索，金融，科研机构等市场青睐。研究背景.程序员们从这个框架中受益良多，因为他们可以避免考虑应用程序复杂分布式运算所带来头痛。这是因为分布式运算可能需要将输入分片，分配给集群中组计算节点，管理系统故障，节点间通信都需要实时考虑。程序员可以方便地运用分布式框架进行分布式编程，即使他们没有多少分布式计算经验，而就是其中最受程序选喜爱个分布式编程框架。基本编程模型可以描述为个任务和个任务组合。要执行计算，就需要提供组键值对作为最初输入。然后计算完成后，最终产生组键值对作为输出。在具有库情况下，计算可以被看做是两个函数，和。和函数都会被用户重写。函数将接受组键值对作输入，并且将组键值对。
参考资料：
（外文翻译）对于Hadoop处理小文件的性能优化（外文+译文）