Spark overwrite模式写入Minio Hudi表二次执行报错求助

核心原因 #

当启用Hudi元数据表（hoodie.metadata.enable=true）时，Spark的overwrite模式会触发Hudi尝试重新初始化内部元数据表，但二次执行时，Hudi的元数据备份文件生成逻辑异常，导致找不到.hoodie.properties.backup文件。而append模式是增量写入，不会触发元数据表的重建操作，因此可以正常执行。

解决方案 #

方案1：禁用Hudi元数据表（快速修复）

如果不需要元数据表带来的查询加速功能，直接关闭元数据开关即可解决问题：
修改配置中的hoodie.metadata.enable为false：

val Config = scala.collection.mutable.Map(
  // ... 其他配置保持不变
  "hoodie.metadata.enable" -> "false",
  // ... 其他配置保持不变
)

方案2：使用Hudi原生replace操作替代Spark overwrite（推荐，保留元数据功能）

Spark的overwrite模式与Hudi元数据表的逻辑不兼容，改用Hudi原生的replace操作来实现全量覆盖：

1. 修改写入操作类型为replace
2. 新增允许创建表的配置（确保首次运行也能正常创建）

调整后的配置：

val Config = scala.collection.mutable.Map(
  // ... 其他配置保持不变
  "hoodie.datasource.write.operation" -> "replace",
  "hoodie.datasource.write.replacecommit.allow.create" -> "true",
  "hoodie.metadata.enable" -> "true",
  // ... 其他配置保持不变
)

写入代码无需修改，依然使用mode("overwrite")即可：

status_device_join.write.format("org.apache.hudi")
  .options(Config)
  .mode("overwrite")
  .save("s3a://hudi/status_device_view/test7")

方案3：手动清理目标路径后写入（临时 workaround）

在执行写入操作前，先删除Minio上的目标表路径，避免Hudi处理旧元数据：

import org.apache.hadoop.fs.Path
import org.apache.hadoop.conf.Configuration

val fs = new Path("s3a://hudi/status_device_view/test7").getFileSystem(sc.sparkContext.hadoopConfiguration)
if (fs.exists(new Path("s3a://hudi/status_device_view/test7"))) {
  fs.delete(new Path("s3a://hudi/status_device_view/test7"), true)
}

// 执行写入操作
status_device_join.write.format("org.apache.hudi")
  .options(Config)
  .mode("overwrite")
  .save("s3a://hudi/status_device_view/test7")

补充说明 #

• Hudi的元数据表（Metadata Table）是用来加速表的查询和维护操作的内部表，启用后会在.hoodie/metadata下生成额外的元数据文件。
• Spark的overwrite模式本质是先删除旧表再写入新数据，但Hudi的元数据表逻辑没有完全兼容这个流程，导致二次执行时出现文件缺失错误。

内容的提问来源于stack exchange，提问作者Adi