阅读背景:

详解 Spark 中的 Bucketing

来源:互联网 

什么是 Bucketing

Bucketing 就是利用 buckets(按列进行分桶)来决定数据分区(partition)的一种优化技术,它可以帮助在计算中避免数据交换(avoid data shuffle)。并行计算的时候shuffle常常会耗费非常多的时间和资源.Bucketing 就是利用 buckets(按列进行分桶)来决




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: