AWS中Hudi表无法修改列名的问题及解决方案咨询

问题背景 #

在AWS Glue 4.0作业中，执行Spark SQL语句spark.sql("ALTER TABLE customer_db.customer RENAME COLUMN subid TO subidentifier")修改Hudi表列名时，触发报错：RENAME COLUMN is only supported with v2 tables。环境信息：Hudi 0.12.1、Spark 3.3、存储为S3。

可行解决方案 #

方案1：启用Hudi Spark SQL v2表支持 #

Spark的RENAME COLUMN语法仅对v2表生效，Hudi默认使用v1表格式，需通过配置启用v2表支持：

• 在Glue作业的作业参数中添加以下Spark配置：
  • --conf spark.sql.extensions=org.apache.hudi.HoodieSparkSessionExtension
  • --conf spark.sql.catalog.spark_catalog=org.apache.hudi.spark3.sql.catalog.HoodieCatalog
  • --conf spark.sql.catalogImplementation=hive（依赖Hive元数据时添加）
• 清理作业依赖：仅保留hudi-spark3-bundle_2.12-0.12.1.jar，移除calcite-core-1.16.0和libfb303-0.9.3（Hudi bundle已包含必要依赖，额外引入易导致版本冲突）
• 重新执行ALTER TABLE语句

方案2：通过重写表实现列名修改 #

若无法启用v2表，可通过读取原表、修改列名后覆盖写入的方式实现：

import org.apache.hudi.DataSourceWriteOptions
import org.apache.hudi.config.HoodieWriteConfig

// 读取原Hudi表
val df = spark.read.format("hudi").load("s3://your-bucket/path-to-customer-table/")

// 修改列名
val renamedDf = df.withColumnRenamed("subid", "subidentifier")

// 覆盖写入Hudi表，复用原表核心配置
renamedDf.write.format("hudi")
  .option(DataSourceWriteOptions.TABLE_NAME_OPT_KEY, "customer")
  .option(DataSourceWriteOptions.OPERATION_OPT_KEY, "overwrite")
  .option(DataSourceWriteOptions.PRECOMBINE_FIELD_OPT_KEY, "your-precombine-field") // 替换为原表precombine字段
  .option(DataSourceWriteOptions.RECORDKEY_FIELD_OPT_KEY, "your-record-key") // 替换为原表record key字段
  .mode("overwrite")
  .save("s3://your-bucket/path-to-customer-table/")

注意：执行覆盖前需确认原表的record key、precombine字段配置，避免数据丢失或不一致。

额外注意事项 #

• 若使用Glue Data Catalog管理元数据，修改列名后需执行MSCK REPAIR TABLE customer_db.customer同步元数据
• 分区表重写时需确保分区列配置正确，避免分区数据异常

内容的提问来源于stack exchange，提问作者gaurav mathur