在spark sql 1.2.x当中存在一个问题:
当我们尝试在一个查询中拜访多个parquet文件时,如果这些parquet文件中的字段名和类型是完整一致的、只是字段的次序不一样,例如一个文件中是name string, id int,另外一个文件是id int, name string时,查询会报错,抛出metadata merge的异常。当我们尝试在一个查询中拜访多个parquet文
在spark sql 1.2.x当中存在一个问题:
当我们尝试在一个查询中拜访多个parquet文件时,如果这些parquet文件中的字段名和类型是完整一致的、只是字段的次序不一样,例如一个文件中是name string, id int,另外一个文件是id int, name string时,查询会报错,抛出metadata merge的异常。当我们尝试在一个查询中拜访多个parquet文