Hadoop存档
1．hdfs存储小文件弊端
每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此hadoop存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如，一个1MB的文件以大小为128MB的块存储，使用的是1MB的磁盘空间，而不是128MB。每个文件均按块存储，每个块
阅读背景：
Hadoop如何用自带HAR处理小文件问题_liziLove_fengmi的博客_hadoop har压缩
来源：互联网
分享到：
