Spark集群读取网络共享目录报错不存在，本地模式正常的解决方案咨询

问题核心原因 #

本地模式下Spark单节点直接访问共享目录无阻碍，但集群模式下每个Worker节点都需要独立访问到该共享目录——如果Worker节点未挂载共享目录、挂载路径不一致，或者权限不足，就会触发"文件夹不存在"的报错。

实现集群访问的具体操作 #

• 统一挂载共享目录到所有节点
  无论使用NFS、SMB还是其他网络共享协议，必须确保Spark集群的所有Master和Worker节点，将共享目录挂载到完全相同的本地路径（比如所有节点都挂载到/mnt/spark-shared）。

  • 以NFS为例，挂载命令：mount -t nfs 192.168.1.100:/server-shared /mnt/spark-shared
  • 避免节点重启后挂载失效，需将配置写入/etc/fstab，比如添加：192.168.1.100:/server-shared /mnt/spark-shared nfs defaults 0 0

• 验证节点访问一致性
  在每个Worker节点执行ls /mnt/spark-shared，确认能看到目标文件；同时检查Spark运行用户（通常为spark）的访问权限：sudo -u spark ls /mnt/spark-shared

• 标准路径读取数据
  代码中直接使用挂载后的本地路径即可，示例：

  df = spark.read.csv("/mnt/spark-shared/data-files")
  

  若用SMB协议，可直接用URI格式（需确保所有节点安装SMB客户端依赖）：

  df = spark.read.csv("smb://username:password@smb-server/share-path/data-files")
  

是否需要迁移到HDFS？ #

不是必须选项，需根据场景判断：

• 若网络共享目录的稳定性、吞吐量能满足集群需求，且挂载维护成本低，可继续使用无需迁移。
• 若出现挂载频繁失效、跨节点访问延迟高、数据容错性差等问题，迁移到HDFS会更适配：HDFS是分布式存储，无需每个节点挂载，自带数据冗余和容错机制，更适合大规模分布式数据处理。

内容的提问来源于stack exchange，提问作者Daksh