spark想不进行文件切分,文件是多大就起几个task,参数设置
–conf spark.sql.files.maxPartitionBytes=2147483648 --conf spark.sql.files.openCostInBytes=2147483648 –conf spark.sql.f
spark想不进行文件切分,文件是多大就起几个task,参数设置
–conf spark.sql.files.maxPartitionBytes=2147483648 --conf spark.sql.files.openCostInBytes=2147483648 –conf spark.sql.f