概述
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。该篇博客参考美团的spark高级版，使用scala代码进行简单的模拟。有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spa
阅读背景：
使用Broadcast变量与map类算子实现join操作，进而完全规避掉shuffle类的操作
来源：互联网
分享到：
