spark通过jdbc从数据库中读取数据，如果数据过大，一定要分区，否则运行慢，分区数目可以从webui上看到，分区数就是task数目。如果分区后，有的task很快完成有的task完成比较慢，这时候需要用sql去查找数据库中看看到底哪里发生数据倾斜了，在数据倾斜的地方多建立几个分区，这样会快些。spark通过jdbc从数据库中读取数据，如果数据过大，一定要分区，否则运行慢，
阅读背景：
spark-jdbc读取数据库分区_怎么全部重名了的博客_spark分区读取jdbc
来源：互联网
分享到：
