阅读背景:

Spark parquet merge metadata问题

来源:互联网 

 在spark sql 1.2.x当中存在一个问题:

当我们尝试在一个查询中拜访多个parquet文件时,如果这些parquet文件中的字段名和类型是完整一致的、只是字段的次序不一样,例如一个文件中是name string, id int,另外一个文件是id int, name string时,查询会报错,抛出metadata merge的异常。当我们尝试在一个查询中拜访多个parquet文




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: