1、很难去管理大量元数据。此外，这将导致个低效率数据访问模式，因为它将需要大量有到寻道操作，以搜索和检索请求文件块。.对影响数量庞大小文件将消耗额外开销，由于任务通常在同时刻只读取块输入数据，并且每个任务将只处理很少点数据。这样就会导致大量任务。.为什么小文件被制作出来无论这些文件时比较大文件碎片或者他们是自然产生。两个这两种情况会在大多数环境中使我们面临小文件问题。图小文件问题.小文件问题特征这个问题中个重要原因是不得不管理大量元数据在它内存中。另外个问题涉及每个启动时扫描它文件系统来取得它持有文件中数据被发送到所需要块报告所经历时间。小文件数量越大，需要时间就越长。在集群中，管理员将对目录用户配额提供两种选择.每个目录下存放最大数量文件.对列。
2、件系统非常类似，并且被开发来支持在数据密集型分布式计算。在实现个集群情况下，根据雅虎，项目最大贡献者目前设计，每个集群作为个节点，它存储所有文件元数据。应用程序数据将被存储在之中。如果用户希望执行读操作，则该请求将被处理并且它会提供数据块构成位置文件。客户端将从最接近进行读取操作。对于写操作，会选择组默认情况下，负责对每个文件块备份而客户将以流水闲方式将这些文件块写入那些节点中。在集群中，当个启动时，他将和进行次握手，这是为了保证数据完整性。在握手过程中，命名空间和软件版本将会被检测。只有命名空间相同且软件版本支持情况下才会被允许进入集群。每个都会定期发送块报告给，来提供关于块拷贝信息，从而帮助收集每个块拷贝文件信息。这样，就保持了数据致性。。
3、很难去管理大量元数据。此外，这将导致个低效率数据访问模式，因为它将需要大量有到寻道操作，以搜索和检索请求文件块。.对影响数量庞大小文件将消耗额外开销，由于任务通常在同时刻只读取块输入数据，并且每个任务将只处理很少点数据。这样就会导致大量任务。.为什么小文件被制作出来无论这些文件时比较大文件碎片或者他们是自然产生。两个这两种情况会在大多数环境中使我们面临小文件问题。图小文件问题.小文件问题特征这个问题中个重要原因是不得不管理大量元数据在它内存中。另外个问题涉及每个启动时扫描它文件系统来取得它持有文件中数据被发送到所需要块报告所经历时间。小文件数量越大，需要时间就越长。在集群中，管理员将对目录用户配额提供两种选择.每个目录下存放最大数量文件.对列。
4、，因为它将需要大量有到寻道操作，以搜索和检索请求文件块。.对影响数量庞大小文件将消耗额外开销，由于任务通常在同时刻只读取块输入数据，并且每个任务将只处理很少点数据。这样就会导致大量任务。.为什么小文件被制作出来无论这些文件时比较大文件碎片或者他们是自然产生。两个这两种情况会在大多数环境中使我们面临小文件问题。图小文件问题.小文件问题特征这个问题中个重要原因是不得不管理大量元数据在它内存中。另外个问题涉及每个启动时扫描它文件系统来取得它持有文件中数据被发送到所需要块报告所经历时间。小文件数量越大，需要时间就越长。在集群中，管理员将对目录用户配额提供两种选择.每个目录下存放最大数量文件.显而易见。有很大潜力。这是因为独特分布式计算方法和最终合并结。
5、表过大，为了适应内存容量，可能会进行迭代操作。更新这些从属于个特有键值集合使它们变为个更小值集合是函数任务。如果用户希望得到个更小输出值集合，他她通过将这个输出作为下个输入，避免人工地将这个输出作为另个输入，从而完成嵌套调用。举个简单例子，我们可以算组访问频率，如果我们给网页请求日志作为输入到计算。该函数产生。函数总结值相同，并生成个对，从而计算出该访问频率。在图中，我们可以看到和任务被节点分配道不同节点，而且将输入划分给不同节点来分配不同作业，从而产生各自中间值。节点将被每个节点告知中间值产生位置。在获取这些信息时候，节点将它传递给指定节点与任务终于完成了合并工作，产生输出文件。图执行概要.分布式文件系统分布式文件系统是被使用文件系统。它与。
6、。伴随着被定制高效文件系统保证全部潜力发挥。我们已经讨论了所面临个缺点，在些环境中，那里有大量小文件降低性能。简要解释了两种现有解决方案，以及它们各自优点和缺点。最后，我们提出了结合现有解决方案优点解决方案。同时筛选出他们所面对缺点。提出解决方案，完全实施后，预计将提高在所谓小文件问题导致性能下降问题中性能。未来工作在我们工作下个里程碑将是成功提高输入文件本质上是小情况下运算效率。这方面个扩展可以是个能够有效地管理小文件，无论是本身就是小文件还是其他情况，这样能更加方便程序员编程，使他们减少对分布式复杂性考虑。参考文献.,.,.,,,..,.,.,,,.,.!,.!,中文字对于处理小文件的性能优化和.印度科钦工程与技术学院摘要是由提出的，个顶。
7、外，每隔秒钟就发送次心跳，来确认现在可用节点，同时文件块拷贝他持有信息。如果在段时间内，比如说分钟，没有收到来自心跳，那么他将认为以及它块拷贝是不可用，并且在集群中选择那些可用块中重建它们新拷贝。图结构会为元数据分配空间，并且平衡集群中正在使用包含心跳信息之间负载。从图我们可以看出体系结构示意图，以及读取和写入操作。小文件问题让我们来讨论这个问题对我们之前讨论两大组件，分布式文件系统和影响。科研应用环境中，如气候学，天文学中，含有大量小文件。.对影响默认情况下，块大小为。任何比这个空间更小文件都被认为是小文件。我们知道，会负责保持集群中中每个元数据。如果每个都含有数量不确定小文件，显然将很难去管理大量元数据。此外，这将导致个低效率数据访问模式。
8、，因为它将需要大量有到寻道操作，以搜索和检索请求文件块。.对影响数量庞大小文件将消耗额外开销，由于任务通常在同时刻只读取块输入数据，并且每个任务将只处理很少点数据。这样就会导致大量任务。.为什么小文件被制作出来无论这些文件时比较大文件碎片或者他们是自然产生。两个这两种情况会在大多数环境中使我们面临小文件问题。图小文件问题.小文件问题特征这个问题中个重要原因是不得不管理大量元数据在它内存中。另外个问题涉及每个启动时扫描它文件系统来取得它持有文件中数据被发送到所需要块报告所经历时间。小文件数量越大，需要时间就越长。在集群中，管理员将对目录用户配额提供两种选择.每个目录下存放最大数量文件.显而易见。有很大潜力。这是因为独特分布式计算方法和最终合并结。
9、表过大，为了适应内存容量，可能会进行迭代操作。更新这些从属于个特有键值集合使它们变为个更小值集合是函数任务。如果用户希望得到个更小输出值集合，他她通过将这个输出作为下个输入，避免人工地将这个输出作为另个输入，从而完成嵌套调用。举个简单例子，我们可以算组访问频率，如果我们给网页请求日志作为输入到计算。该函数产生。函数总结值相同，并生成个对，从而计算出该访问频率。在图中，我们可以看到和任务被节点分配道不同节点，而且将输入划分给不同节点来分配不同作业，从而产生各自中间值。节点将被每个节点告知中间值产生位置。在获取这些信息时候，节点将它传递给指定节点与任务终于完成了合并工作，产生输出文件。图执行概要.分布式文件系统分布式文件系统是被使用文件系统。它与。
10、件系统非常类似，并且被开发来支持在数据密集型分布式计算。在实现个集群情况下，根据雅虎，项目最大贡献者目前设计，每个集群作为个节点，它存储所有文件元数据。应用程序数据将被存储在之中。如果用户希望执行读操作，则该请求将被处理并且它会提供数据块构成位置文件。客户端将从最接近进行读取操作。对于写操作，会选择组默认情况下，负责对每个文件块备份而客户将以流水闲方式将这些文件块写入那些节点中。在集群中，当个启动时，他将和进行次握手，这是为了保证数据完整性。在握手过程中，命名空间和软件版本将会被检测。只有命名空间相同且软件版本支持情况下才会被允许进入集群。每个都会定期发送块报告给，来提供关于块拷贝信息，从而帮助收集每个块拷贝文件信息。这样，就保持了数据致性。。
11、。伴随着被定制高效文件系统保证全部潜力发挥。我们已经讨论了所面临个缺点，在些环境中，那里有大量小文件降低性能。简要解释了两种现有解决方案，以及它们各自优点和缺点。最后，我们提出了结合现有解决方案优点解决方案。同时筛选出他们所面对缺点。提出解决方案，完全实施后，预计将提高在所谓小文件问题导致性能下降问题中性能。未来工作在我们工作下个里程碑将是成功提高输入文件本质上是小情况下运算效率。这方面个扩展可以是个能够有效地管理小文件，无论是本身就是小文件还是其他情况，这样能更加方便程序员编程，使他们减少对分布式复杂性考虑。参考文献.,.,.,,,..,.,.,,,.,.!,.!,中文字对于处理小文件的性能优化和.印度科钦工程与技术学院摘要是由提出的，个顶。
12、外，每隔秒钟就发送次心跳，来确认现在可用节点，同时文件块拷贝他持有信息。如果在段时间内，比如说分钟，没有收到来自心跳，那么他将认为以及它块拷贝是不可用，并且在集群中选择那些可用块中重建它们新拷贝。图结构会为元数据分配空间，并且平衡集群中正在使用包含心跳信息之间负载。从图我们可以看出体系结构示意图，以及读取和写入操作。小文件问题让我们来讨论这个问题对我们之前讨论两大组件，分布式文件系统和影响。科研应用环境中，如气候学，天文学中，含有大量小文件。.对影响默认情况下，块大小为。任何比这个空间更小文件都被认为是小文件。我们知道，会负责保持集群中中每个元数据。如果每个都含有数量不确定小文件，显然将很难去管理大量元数据。此外，这将导致个低效率数据访问模式。
参考资料：
（外文翻译）对于Hadoop处理小文件的性能优化（外文+译文）
