小文件指的是那些size比HDFS的block size(默许64M)小的多的文件。任何一个文件，目录和block，在HDFS中都会被表现为一个object存储在namenode的内存中， 每一个object占用150 bytes的内存空间。所以，如果有10million个文件， 每一个文件对应一个block，那末就将要消费namenode 3G的内存来保留这些block的信息。如果范围再大一些，那末将会超越现阶段盘算机硬件所能满足的极限。 小的多的文件。任何一个文件，
阅读背景：
Hadoop对小文件的解决方案
来源：互联网
分享到：
