一、需求前提
小张同学从别处整来了一批日志，日志内容主要记录了每个用户在运营商中所使用过的手机号，如果没有则为空，数据大概是用户账号、电信手机号、联通手机号、移动手机号、铁通手机号、小灵通等等。当然还有一个关联关系静态文件，主要记录用户所在的省和地市，数据是用户账号，所在省，所在市。日志和静态文件都存在hdfs中。现在小张同学想要分析每个省每个地市有电信、联通、移动、铁通、小灵通手机号的用户各有多少？ 小张同学从别处整来了一批日志，日志内容主要记录了每个用户在运营商中所使用
阅读背景：
mr利用shuffle阶段来实现数据去重的功能
来源：互联网
分享到：
