Mapreduce job非常合适处理大文件，不善于处理大量的小文件。在处理大量小文件的时候，因为一个mapperjob需要的数据几乎全部来自网络，建立连接和传递数据的开销很大，所以导致job运行的时间变长，时间效率降低。同时大量的小文件会占用很多的namespace。Mapreduce job非常合适处理大文件，不善于处理大量的小文件。在处理大量小文件的时候，
阅读背景：
Pig 处理大量的小文件
来源：互联网
分享到：
