Spark 3.4.0 on Kubernetes提交任务时mkdirs创建目录失败求助

可能的失败原因 #

1. 客户端本地路径缺失/权限不足
   spark.kubernetes.file.upload.path配置的file:/opt/spark/work-dir如果指向客户端本地路径，提交任务的机器上可能没有这个目录，或者运行spark-submit的用户没有该路径的写权限——Spark上传依赖前会先在客户端本地创建spark-upload子目录，再同步到Pod，客户端权限不够就会触发失败。

2. 路径协议格式错误
   你写的file:/opt/spark/work-dir少了一个斜杠，正确的本地文件协议应该是file:///opt/spark/work-dir（三个斜杠：协议头后接绝对路径）。格式错误会导致Hadoop FS API解析路径失败，进而无法创建目录。

3. Pod安全上下文限制
   即使Dockerfile里设置了目录777权限，如果Driver Pod使用非root用户运行（比如Spark默认的spark用户），结合K8s的SELinux/AppArmor策略，可能仍然无法写入目录。另外，若Pod配置了runAsUser/fsGroup但与目录属主不匹配，也会触发权限问题。

4. 配置被覆盖
   若存在其他Hadoop相关配置（比如spark.hadoop.fs.defaultFS），可能会覆盖spark.kubernetes.file.upload.path的实际生效路径，导致请求指向了错误的存储位置。

调试方法 #

• 手动验证客户端路径权限：在提交任务的机器上执行mkdir -p /opt/spark/work-dir/spark-upload && chmod 777 /opt/spark/work-dir/spark-upload，然后重新提交任务。如果成功，说明问题出在客户端本地路径。
• 开启Spark Debug日志：提交任务时添加参数--conf spark.log.level=DEBUG，能获取mkdir操作的底层错误细节（比如权限被拒、路径不存在等）。
• 检查Pod安全上下文：查看Spark生成的Driver Pod YAML，确认spec.securityContext中的runAsUser、fsGroup是否与Dockerfile中目录的属主/权限匹配。可以临时添加--conf spark.kubernetes.driver.securityContext.runAsUser=0以root身份运行Pod，验证是否是权限策略问题。
• 切换上传方式验证：临时改用PVC作为上传路径（比如--conf spark.kubernetes.file.upload.path=pvc://my-spark-pvc/spark-upload），如果能成功上传，说明原本地路径配置存在环境依赖问题。

正确配置方式 #

1. 本地共享存储场景（比如minikube/kind）

   • 在K8s节点上创建共享目录，比如/mnt/spark-shared，并设置权限777。
   • 配置Spark使用该路径：--conf spark.kubernetes.file.upload.path=file:///mnt/spark-shared。
   • 在Driver Pod模板中挂载主机路径：--conf spark.kubernetes.driver.volumes.hostPath.spark-shared.mount.path=/mnt/spark-shared --conf spark.kubernetes.driver.volumes.hostPath.spark-shared.path=/mnt/spark-shared。

2. PVC存储场景（推荐）

   • 创建一个PersistentVolumeClaim（PVC），确保有足够空间。
   • 配置Spark上传路径为PVC：--conf spark.kubernetes.file.upload.path=pvc://<your-pvc-name>/spark-upload。
   • Spark会自动将依赖上传到PVC，Driver Pod启动时会挂载该PVC，无需额外配置挂载路径。

3. Pod内本地路径场景

   • 确保客户端与Driver Pod在同一K8s节点，且节点上的/opt/spark/work-dir是共享目录。
   • 配置正确的协议路径：--conf spark.kubernetes.file.upload.path=file:///opt/spark/work-dir。
   • 在Dockerfile中明确创建目录并设置属主为Spark运行用户：

     RUN mkdir -p /opt/spark/work-dir/spark-upload && chown spark:spark /opt/spark/work-dir/spark-upload && chmod 755 /opt/spark/work-dir/spark-upload
     

内容的提问来源于stack exchange，提问作者szimon