阅读背景:

pyspark向lzo格式hive表插入数据

来源:互联网 

 

1.在执行插入之前,必须要指定参数

spark.sql("set hive.exec.dynamic.partition.mode=nonstrict")
spark.sql('''set mapred.output.compress=true''')
spark.sql('''set hive.exec.compress.output=true''')
spark.sql('''setmapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec''')spark.sql("set hive



你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: