阅读背景:

Saprk数据倾斜七解决方案(一)

来源:互联网 

1,使用Hive ETL预处理数据

  • 方案适用场景:如果导致数据倾斜的是hive表。如果该表中的数据本身很不均匀(比如某个key由100万条数据,其他key对应10条数据),而且业务场景需要频繁使用Spark对Hive表执行某个分析操作,那么比较合适使用这个方案,:如果导致数据倾斜的是h



你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: