Spark3写入LocalStack S3报RemoteFileChangedException异常如何解决

在testcontainers搭建的LocalStack环境中执行S3 parquet写入操作时抛出如下异常，相同写入逻辑对接真实S3可正常运行，且在Spark 2.4搭配Hadoop 2.7环境下也可正常执行：

org.apache.hadoop.fs.s3a.RemoteFileChangedException: open `s3a://***.snappy.parquet': Change reported by S3 during open at position ***. ETag *** was unavailable

• Scala：2.12.15
• Spark：3.2.1
• hadoop-aws：3.3.1
• testcontainers-scala-localstack：0.40.8

仅实现DataFrame写入指定S3路径的基础逻辑：

val path = "s3a://***"
import spark.implicits._

val df = Seq(UserRow("1", List("10", "20"))).toDF()
df.write.parquet(path)

Hadoop 3.x版本的s3a客户端默认开启了S3对象变更检测逻辑，默认以ETag作为校验依据：文件写入完成后再次打开读取时，会校验当前对象的ETag和写入时记录的ETag是否一致，不一致就抛出RemoteFileChangedException避免读取到被篡改的文件。
出现该问题的核心原因是低版本LocalStack的S3实现存在兼容缺陷：分块上传/小文件写入场景下返回的ETag值不符合AWS S3的标准规则，和s3a客户端记录的预期ETag不匹配，触发校验报错。Hadoop 2.7版本默认未开启该ETag校验逻辑，因此不会出现该问题。

以下方案任选其一即可，优先推荐升级LocalStack版本，无侵入不需要修改业务配置：

• 升级LocalStack镜像版本到1.4.0及以上，新版本修复了S3 ETag生成的兼容问题，完全匹配hadoop-aws 3.x的校验规则。使用testcontainers时显式指定高版本LocalStack镜像即可，避免依赖默认拉取的低版本镜像。
• 测试环境下可直接关闭s3a的变更检测校验，在Spark的Hadoop配置中添加如下参数：

spark.sparkContext.hadoopConfiguration.set("fs.s3a.change.detection.mode", "none")

如果是spark-submit提交任务，可在提交参数中添加：

--conf spark.hadoop.fs.s3a.change.detection.mode=none

注意：该配置仅适用于本地测试环境，生产环境对接真实S3时禁止关闭，避免读取到写入过程中被修改的脏数据。

• 若不想完全关闭校验，可将变更检测依据改为S3对象版本ID，需提前在LocalStack中开启目标Bucket的版本控制功能，配置参数如下：

spark.sparkContext.hadoopConfiguration.set("fs.s3a.change.detection.source", "versionid")

内容的提问来源于stack exchange，提问作者Igorock