阅读背景:

Hadoop2.6.0的FileInputFormat的任务切分原理分析(即如何控制FileInputFormat的map任务数量)

来源:互联网 

前言

首先确保已搭建好Hadoop集群环境,可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce义务时,发明相比于应用Job.setNumReduceTasks(int)掌握reduce义务数目而言,掌握map义务数目一直是一个困扰我的问题。好在经过很多探索与试验,终究梳理出来,愿望对在工作中进行Hadoop进行性状调优的新人们有个鉴戒。本篇文章只针对FileInputFormat的义务划分进行剖析,其它类型的InputFormat的划分方法又各有不同。虽然如此,都可以依照本篇文章相似的办法进行剖析和总结。》一文的




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: