Docker容器内PySpark使用overwrite模式保存文件报错问题

问题复现 #

本地运行PySpark流处理任务写入CSV文件、采用overwrite输出模式时无异常，容器化部署后执行以下代码报错：

df.write.format("csv").mode("overwrite").save("/app/files")

报错信息如下：

java.io.IOException: Unable to clear output directory file:/app/files prior to writing to it

已尝试在Dockerfile中添加USER root配置，问题未解决。

根因说明 #

即便容器内使用root用户运行，仍有三类常见场景会触发该报错：

• 输出目录/app/files是Docker挂载的宿主机目录，宿主机对应该目录未开放写/删除权限，容器内root用户默认也没有权限修改宿主机受限挂载目录
• 流模式下前序任务的临时文件句柄仍被进程持有，导致目录被锁无法删除
• 基础镜像默认开启了root用户安全限制，禁止对容器内指定路径做递归删除操作

可行解决方案 #

方案1：预开放目录权限 #

如果是容器内本地目录，可在Dockerfile构建阶段预先创建目录并开放权限：

RUN mkdir -p /app/files && chmod -R 777 /app/files

如果是挂载的宿主机目录，可在启动容器前先修改宿主机对应目录权限：

chmod 777 宿主机对应/files目录路径

方案2：添加Spark配置跳过目录清理校验 #

在SparkSession初始化时添加如下配置，忽略目录清理失败的报错，或调整提交协议逻辑：

spark = SparkSession.builder \
    .config("spark.sql.sources.commitProtocolClass", "org.apache.spark.sql.execution.datasources.SQLHadoopMapReduceCommitProtocol") \
    .config("spark.hadoop.mapreduce.fileoutputcommitter.cleanup-failures.ignored", "true") \
    .getOrCreate()

方案3：写入前主动删除目标目录 #

流模式下overwrite逻辑存在锁冲突时，可主动调用Hadoop API删除目标目录后再写入：

# 初始化Hadoop文件系统对象
hadoop_conf = spark.sparkContext._jsc.hadoopConfiguration()
fs = spark._jvm.org.apache.hadoop.fs.FileSystem.get(hadoop_conf)
target_path = spark._jvm.org.apache.hadoop.fs.Path("/app/files")
# 递归删除已有目录
if fs.exists(target_path):
    fs.delete(target_path, True)
# 执行写入，此时用append或overwrite均可
df.write.format("csv").mode("append").save("/app/files")

内容的提问来源于stack exchange，提问作者yallic