Hadoop 之 数据去重（星星笔记）

1.问题描述

输入文件

file1：

<pre name="code" class="plain">2006-6-9 a
2006-6-10 b
2006-6-11 c
2006-6-12 d
2006-6-13 a
2006-6-14 b
2006-6-15 c
2006-6-11 c<pre name="code" cl