阅读背景:

【Spark调优】:如果实在要shuffle,使用map侧预聚合的算子

来源:互联网 

  因业务上的需要,无可避免的一些运算一定要使用shuffle操作,无法用map类的算子来替代,那么尽量使用可以map侧预聚合的算子。shuffle操作,无法用map类的算子来替代




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: