使用saveAsTable向Glue Table写入分桶数据时格式不匹配问题求助

报错原因 #

现有Glue表由Crawler创建，默认使用HiveFileFormat存储格式；而你用format("parquet")的Spark写入代码会启用Parquet DataSource V2（parquetDataSourceV2），两者元数据格式不兼容，导致报错。

可行解决方案 #

• 方案1：切换为Hive兼容的写入方式
  修改写入代码，用format("hive")替代format("parquet")，让Spark使用HiveFileFormat写入，匹配现有表格式：

  df.write.format("hive").mode("append").partitionBy('x', 'y').bucketBy(5,'a').saveAsTable("db.table_name")
  

  注意：此方式遵循Hive分桶逻辑，需验证写入后的分桶效果是否符合预期。

• 方案2：重新创建兼容分桶的Glue表

  1. 建议先备份原表数据，避免丢失
  2. 用Spark SQL或Glue控制台创建带分桶、分区的新表，确保格式支持分桶：

     CREATE TABLE db.table_name_bucketed (
       -- 替换为你的实际列定义
       col1 string,
       col2 int,
       a string,
       x string,
       y string
     )
     PARTITIONED BY (x, y)
     CLUSTERED BY (a) INTO 5 BUCKETS
     STORED AS PARQUET
     LOCATION 's3://your-bucket/table-path/';
     

  3. 将原表数据导入新表，之后用你原来的format("parquet")写入代码操作新表即可。

• 方案3：修改现有表的存储格式（谨慎操作）
  通过Glue控制台或API修改现有表的元数据，替换为Hive Parquet对应的格式类：

  • InputFormat: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
  • OutputFormat: org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat
  • SerdeInfo: org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe
    修改后重新同步分区，再执行写入代码。注意：此操作可能影响现有数据读取，建议先在测试环境验证。

内容的提问来源于stack exchange，提问作者sabya