问题1：reduce task数目不适合
解决计划：
须要依据实际情形调剂默许配置，调剂方法是修正参数spark.default.parallelism。通常的，reduce数目设置为core数目标2-3倍。数目太大，造成很多小义务，增长启动义务的开消；数目太小，义务运行迟缓。所以要公道修正reduce的task数目即须要依据实际情形调剂默许配置，调剂方法是修
阅读背景：
spark内核揭秘-14-Spark性能优化的10大问题及其解决方案
来源：互联网
分享到：
