Docker部署Spark standalone时spark_read_csv报路径不存在问题

云上老周

2026-8-31

问题场景

本地通过Docker部署standalone模式Spark集群：1个master节点、2个worker节点分别运行在独立容器中，所有容器的/opt/spark-data路径都映射到宿主机同一个本地目录。
R环境通过sparklyr连接Spark master，sparklyr::copy_to可正常执行，但sparklyr::spark_read_csv运行失败。
进入3个容器核查，确认待读取的CSV目录确实存在于所有容器的/opt/spark-data路径下，目录和文件都配置了所有用户可读权限。
读取代码如下：

xx_csv <- spark_read_csv(
  sc,
  name = "xx1_csv",
  path = "file:///opt/spark-data/data-csv"
)

Error: org.apache.spark.sql.AnalysisException: Path does not exist: file:/opt/spark-data/data-csv;

问题根因

报错核心是混淆了sparklyr客户端和Spark集群的文件系统边界，和容器内文件是否存在、文件权限、斜杠数量都没有关系：

spark_read_csv使用file://协议时，首先会在运行R代码的宿主机环境校验路径合法性，这个校验逻辑运行在Docker环境之外，不会访问容器内部的文件系统。你之前只验证了容器内路径存在，但是宿主机上不存在/opt/spark-data/data-csv这个路径，校验阶段直接失败，读请求根本不会发送到Spark集群。
异常信息里显示的file:/opt/...是Spark异常打印时的默认省略格式，不是你斜杠数量写错导致的，调整斜杠数量没有任何作用。
补充说明：你当前所有容器都映射了相同宿主机目录的配置，已经满足Spark读本地文件的要求（即driver、所有worker节点同路径下有一致的文件副本），不需要调整容器侧的挂载配置。另外copy_to能正常运行是因为它直接上传R环境中的数据框到Spark内存，不涉及外部文件路径读取，不能作为路径配置正确的验证依据。

修复方案

按实际需求选任意一种即可：

最小改动方案（临时使用推荐）
在宿主机上将共享目录绑定挂载到/opt/spark-data路径，让R进程能在本地直接访问到目标文件：
```
# 先将命令中的<宿主机实际共享目录路径>替换为你映射给容器的真实本地目录，例如/home/yourname/spark-share
sudo mkdir -p /opt/spark-data
sudo mount --bind <宿主机实际共享目录路径> /opt/spark-data
```
执行完成后在宿主机终端执行ls /opt/spark-data/data-csv，确认能看到目标CSV文件后，再运行原有读取代码即可正常执行。
长期使用方案
本地部署单节点HDFS或者MinIO作为存储层，将CSV文件上传到对应存储后，使用hdfs://或s3a://协议读取，完全绕开本地文件系统的路径一致性要求，后续集群扩容、迁移都不需要额外调整路径映射配置。

内容的提问来源于stack exchange，提问作者amitr