如果有可能的话，尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能的地方就是shuffle过程。shuffle过程，就是将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。 如果有可能的话，尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能
阅读背景：
【Spark调优】：尽量避免使用shuffle类算子
来源：互联网
分享到：
