阅读背景:

MR job提交流程和切片算法

来源:互联网 
Mapreduce:
    编程模型,适用于分布式计算

    
    Map:    映射    预处理
    Reduce:    化简    聚合
    

    shuffle:    网络间分发
    combiner:    Map端的reduce
    partitioner:    分区,默认hash分区

combiner:
    适合最大值,最小值
    平均值不适用

    
文件格式和切片的关系:
    

MR的job提交流程:
    Mapreduce:
    编程模型,适用于分布式计算

    
    Map:



你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: