Spark集群因临时连接文件触发NoSuchFileException异常排查

核心问题定位 #

你遇到的NoSuchFileException是因为Spark驱动在Celery Worker容器中生成的临时连接信息文件（如connectionxxxx.info）存储在容器默认的/tmp目录下，该目录未被挂载共享卷，且可能被容器临时文件清理机制、Celery多进程环境意外删除，导致间歇性找不到文件。

虽然你配置了SPARK_LOCAL_DIRS=/tmp/spark，但这个参数仅控制Spark executor的本地存储目录，Spark驱动端的临时文件（由Java系统临时目录管理）仍会默认使用容器的/tmp，这是关键疏漏。

具体修复步骤 #

1. 强制Spark与Java使用共享临时目录 #

修改Celery Worker的环境变量，让Java和Spark驱动都将临时文件写入挂载的/tmp/spark卷：

celery-worker-1:
  # 保留原有配置，新增以下环境变量
  environment:
    - SPARK_DRIVER_HOST=celery-worker-1
    - CELERYD_PREFETCH_MULTIPLIER=1
    - SPARK_LOCAL_DIRS=/tmp/spark
    - JAVA_OPTS="-Djava.io.tmpdir=/tmp/spark"
    - SPARK_DRIVER_OPTS="-Djava.io.tmpdir=/tmp/spark"

2. 确保临时目录权限正确 #

在你的backend:latest镜像的Dockerfile中添加权限配置，避免Celery运行用户无法读写临时目录：

RUN mkdir -p /tmp/spark && chmod 777 /tmp/spark

3. 调整Celery Worker配置避免文件冲突 #

Celery的多进程并发（--concurrency=4）可能导致多个进程共用临时文件路径，引发冲突：

• 修改Celery启动命令，禁用 gossip 模块减少临时文件交互：

  celery-worker-1:
    command: celery -A utils.celery_utils worker --loglevel=info --concurrency=4 --without-gossip
  

• 在Celery任务中延迟初始化Spark上下文，确保每个进程有独立的临时文件空间：

  from pyspark.sql import SparkSession
  
  def your_celery_task():
      # 任务内单独初始化SparkSession
      spark = SparkSession.builder \
          .master("spark://spark-master:7077") \
          .config("spark.driver.host", "celery-worker-1") \
          .config("spark.driver.extraJavaOptions", "-Djava.io.tmpdir=/tmp/spark") \
          .getOrCreate()
      
      # 执行你的Spark处理逻辑
      
      # 任务结束后关闭SparkSession
      spark.stop()
  

4. 优化tmpfs挂载配置（可选） #

当前spark-tmp使用tmpfs内存文件系统，若内存不足会自动清理文件，可调整挂载参数指定大小和权限：

volumes:
  # 保留其他卷配置
  spark-tmp:
    driver: local
    driver_opts:
      type: tmpfs
      device: tmpfs
      o: size=4G,mode=777

如果仍有问题，可暂时将tmpfs改为普通本地卷排查是否为内存文件系统的清理机制导致。

内容的提问来源于stack exchange，提问作者digital_monk