hadoop中map分片信息的源码分析

之前大家对于hadoop中map输入的分片不是很了解，直接认为map输入的分片数是由文件的个数和是否大于block_size来决定map的个数，这样是不准确的，的确在默认的情况下是这样的，但是实际优化过程中，并不是文件越多就起的map就越多，因为小文件太多的话，这样处理会影响系统效率，当然大文件的切分也不一定是按照block_size来切分，今天我们主要看看小文件合并的类CombineFileInputFormat中和切分大文件的FileInputFormat类之前大家对于hadoop中map输入的分片不是很了解，直接认为map输入的分片数是由文件的个数和是否