阅读背景:

实战解决 spark executor 被yarn杀掉的问题_边逛边看边学习

来源:互联网 

公司同事的文


spark的任务,在运行期间executor总是挂掉。刚开始觉得是数据量太大executor内存不够。但是估算了数据量,觉得不应该出现内存不够。于是,首先尝试通过jvisualvm观察executor的内存分布:spark的任务,在运行期间executor总是挂掉。刚开始觉得是数据




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: