数据本地性
数据计算尽可能在数据所在的节点上运行，这样可以减少数据在网络上的传输，毕竟移动计算比移动数据代价小很多。进一步看，数据如果在运行节点的内存中，就能够进一步减少磁盘的I/O的传输。在spark中，数据本地性优先级从高到低为PROCESS_LOCAL>NODE_LOCAL>NO_PREF>RACK_LOACL>ANY即最好是运行在节点内存中的数据，次要是同一个NODE，再次是同机架，最后是任意位置。数据计算尽可能在数据所在的节点上运行，这样可以减少数据在网络上的传输，毕竟移动
阅读背景：
spark基础知识介绍(包含foreachPartition写入mysql）
来源：互联网
分享到：
