Docker容器内PySpark用overwrite模式存CSV挂载卷时目录无法清除问题

核心是文件权限不匹配：

• 未配置挂载时，/app/files是容器内部创建的目录，默认归属PySpark进程运行的用户，持有完整的读写、删除权限，overwrite模式可以正常清空目录写入文件。
• 配置宿主机目录绑定挂载后，容器内/app/files的权限会直接继承宿主机对应./files目录的权限：如果启动Docker Compose的宿主机用户UID/GID，和容器内运行PySpark进程的UID/GID不一致，PySpark进程就没有/app/files目录的删除、修改权限，overwrite模式要求先清空目标目录，缺少权限就会抛出对应的IO异常。
• 少数场景下，宿主机./files目录存在被其他进程占用的文件、被设置了只读属性或者不可删除标记，也会导致容器内进程无法清空目录。

方案1：匹配容器运行用户与宿主机目录权限（生产环境推荐） #

1. 先在宿主机执行命令查询./files目录的所有者UID和GID：
   stat -c "%u %g" ./files
2. 在Docker Compose配置中指定容器运行的用户为上述查询到的UID:GID即可，修改后的配置如下：

version: '2'
services:
  convert-pivot:
    image: convert-pivot
    restart: always
    container_name: convert-pivot
    user: "1000:1000" # 替换为上一步查询到的实际UID:GID
    volumes:
      - ./files:/app/files

方案2：宽松化目录权限（本地测试适用） #

仅适合本地开发场景，不要在生产环境使用：

• 方式一：在构建镜像的Dockerfile中添加指令，提前创建目标目录并设置全可写权限：
  RUN mkdir -p /app/files && chmod 777 /app/files
• 方式二：修改Docker Compose的启动命令，运行PySpark应用前先修改挂载目录权限：

command: /bin/sh -c "chmod 777 /app/files && python 你的PySpark启动脚本文件名.py"

方案3：调整PySpark写入配置 #

如果不方便修改权限，可以在PySpark的写入配置中添加如下参数，让Spark忽略目录清空失败的错误：

spark.conf.set("spark.hadoop.mapreduce.fileoutputcommitter.cleanup-failures.ignored", "true")

使用该方案需要提前确认残留旧文件不会影响最终写入结果的正确性。

内容的提问来源于stack exchange，提问作者yallic