共享变量
通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量会向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。尽管如此，Spark提供了两种有限类型的共享变量，广播变量和累加器。通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一
阅读背景：
Spark编程指引(四)------------------共享变量(广播变量和累加器)
来源：互联网
分享到：
