baidu了下大部分关于mapreduce进行数据去重的方法，都介绍说基于java，map阶段key为整行，value为空，reduce阶段key为空，value为整行
baidu了下大部分关于mapreduce进行数据去重的方法，都介绍说基于java，map阶段
阅读背景：
hadoop streaming 数据去重问题
来源：互联网
分享到：
