阅读背景:

spark--join的三种方式_韩运畅的博客_sparkjoin的三种实现方式

来源:互联网 
  1. broadcast hash join(小表和大表)
将小表broadcast到所有的Executor中,将其加载进内存,然后生成一个hash 
table,每个节点都遍历所分得大表中的数据,先判断join字段的hash是否相等,如
果相等在判断join字段是否相等

网络传输数据量:小表*k
将小表b



你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: