阅读背景:

Spark:广播变量和累加器的使用_不花的花和尚的博客

来源:互联网 

一、广播变量和累加器

1.1 广播变量:

广播变量允许程序员将一个只读的变量缓存在每台机器上,而不用在任务之间传递变量。广播变量可被用于有效地给每个节点一个大输入数据集的副本。Spark还尝试使用高效地广播算法来分发变量,进而减少通信的开销。广播变量允许程序员将一个只读的变量缓存在每台




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: