Mapreduce:
编程模型,适用于分布式计算
Map: 映射 预处理
Reduce: 化简 聚合
shuffle: 网络间分发
combiner: Map端的reduce
partitioner: 分区,默认hash分区
combiner:
适合最大值,最小值
平均值不适用
文件格式和切片的关系:
MR的job提交流程:
Mapreduce:
编程模型,适用于分布式计算
Map: