OOM产生的原因
- map执行中内存溢出
shuffle后内存溢出
map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，mapPatitions等。shuffle后内存溢出的shuffle操作包括join，reduceByKey，repartition等操作。后面先总结一下我对Spark内存模型的理解，再总结各种OOM的情况相对应的解决办法和性能优化方面的总结。如果理解有错，希望在评论中指出。map执行中内存溢
阅读背景：
Spark对OOM问题的解决方法及优化
来源：互联网
分享到：
