阅读背景:

07性能调优之调节数据本地化等待时长

来源:互联网 

数据本地化等待时长

Spark 在 Driver上,对 Application 的每一个 stage 的 task 进行分配之前都会计算出每个 task 要计算的是哪个分片数据,即 RDD 的某个 partition。Spark 的 task 分配算法优先会希望每个 task 正好分配到它要计算的数据所在的节点,这样的话就不用在网络间传输数据。Spark 在 Driver上,对 Application 的每一个




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: