阅读背景:

spark3使用zstd压缩

来源:互联网 

spark想不进行文件切分,文件是多大就起几个task,参数设置
–conf spark.sql.files.maxPartitionBytes=2147483648 --conf spark.sql.files.openCostInBytes=2147483648 –conf spark.sql.f




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: