Apache Spark在K8s中提示文件不存在但实际存在的问题求助

1. 分布式环境文件可见性问题 #

Spark在K8s上运行时，Driver和Executor是独立的Pod，要是你只在Driver节点下载文件，Executor根本访问不到本地文件——这是最常踩的坑。

• 先确认下载代码的执行位置：如果是在main方法或者Driver端初始化逻辑里下载，Executor节点没有这个文件，必然报错。
• 解决办法：
  • 先把下载的文件传到MinIO这类分布式存储，再让所有节点从MinIO读取；
  • 用Spark的spark.sparkContext.addFile("本地文件路径")把文件分发到所有Executor，任务里用SparkFiles.get("文件名")获取路径。

2. 路径格式问题 #

• 坚决用绝对路径，相对路径会跟着每个Pod的工作目录变化，很容易和下载路径对不上。
• 核对下载时的保存路径和Spark读取路径，注意Linux环境路径区分大小写，别写错字母大小写。

3. 文件权限问题 #

文件存在也可能读不了，因为Spark默认用spark用户运行，可能没权限读取文件。

• 执行ls -l 你的文件路径查看权限，确保spark用户有读权限；如果是下载到临时目录，加一句chmod 644 你的文件路径修改权限。

4. K8s存储卷配置问题 #

• 如果文件下载到Pod的emptyDir临时存储，Driver和Executor的emptyDir是独立的，互相看不到；要是用持久化存储，得确保所有Pod都挂载同一个存储卷。
• 检查SparkApplication清单里的volumes和volumeMounts，确认Driver和Executor都挂载了同一个存储卷，且下载/读取路径在挂载目录下。

5. 代码执行顺序问题 #

别让Spark任务在文件还没下载完就开始读取——比如异步下载的情况，任务先跑了自然找不到文件。

• 在下载代码后加日志打印new File(你的路径).exists()，确认文件确实存在后再触发Spark读取。

针对你的代码/配置的具体检查点 #

下载代码

• 打印下载后的文件绝对路径，确认路径没错；
• 打印文件存在性判断结果，验证下载完成；
• 看下载代码是在Driver端运行，还是在RDD/DataFrame的算子里（算子会在Executor执行，每个Executor都会下载一次，要确保路径统一）。

Spark读取代码

• 读取路径用绝对路径，或者用SparkFiles.get()获取分发后的文件路径；
• 读本地文件要加file://前缀，比如spark.read.csv("file:///opt/data/xxx.csv")，不然Spark会当成分布式文件系统路径查找。

SparkApplication清单

• 检查driver和executor的volumeMounts是否一致，有没有把存储卷挂载到下载/读取的目录；
• 查看securityContext里的用户配置，确保该用户有文件读取权限；
• 确认Driver和Executor的工作目录一致，避免相对路径出问题。

内容的提问来源于stack exchange，提问作者Aman