Scala Spark中--files参数使用及集群模式文件内容读取问题

我之前跑Spark任务时也踩过这个一模一样的坑，集群模式下文件路径的可见性问题真的很容易让人懵，咱们一步步拆解问题、解决它：

核心原因：集群模式下的文件可见性差异 #

在本地模式下，代码直接读取本地文件系统的路径没问题，但集群模式（比如YARN Cluster、Standalone Cluster）里，Driver和Executor可能运行在集群的任意节点上，你提交任务的机器上的本地文件，其他节点根本访问不到，这就是报错的根源。

针对不同场景的解决方案 #

场景1：小文件（比如配置文件、小数据集）—— 分发到所有节点 #

如果你的纯文本文件不大（几MB以内），最方便的方式是在提交任务时用--files参数把文件分发到所有Executor和Driver节点：

• 提交命令示例：

spark-submit \
  --class com.your.package.YourScalaApp \
  --master yarn-cluster \
  --files /your/local/path/to/small-file.txt \
  your-spark-app.jar

• 在Scala代码里，用SparkFiles.get()获取分发后的文件路径：

import org.apache.spark.SparkFiles

// 获取分发后的文件绝对路径
val filePath = SparkFiles.get("small-file.txt")
// 读取文件内容
val fileContent = scala.io.Source.fromFile(filePath).mkString
println("文件内容：" + fileContent)

这样不管任务跑在集群哪个节点，都能拿到这份文件。

场景2：大文件（比如数据集）—— 放到分布式文件系统 #

如果是几百MB甚至更大的纯文本文件，千万别用本地路径或者--files分发，效率极低还容易出问题。必须把文件放到集群所有节点都能访问的分布式存储里（比如HDFS、S3、ADLS）：

• 以HDFS为例，先把本地文件上传到HDFS：

hdfs dfs -put /your/local/path/to/large-file.txt /hdfs/shared/path/large-file.txt

• 然后在Scala代码里直接用分布式路径读取：

// 直接用HDFS全路径
val textRDD = spark.sparkContext.textFile("hdfs://your-nn-host:9000/hdfs/shared/path/large-file.txt")
// 如果已经配置了HADOOP_CONF_DIR，也可以写相对路径
val textRDD = spark.sparkContext.textFile("/hdfs/shared/path/large-file.txt")

// 处理文件内容，比如打印前5行
textRDD.take(5).foreach(println)

场景3：排查路径拼写与权限问题 #

别忽略最基础的细节：

• 检查路径拼写：注意大小写、斜杠方向（集群都是Unix环境，用/而不是\），区分绝对路径和相对路径。
• 检查文件权限：确保Spark运行的用户（比如YARN的yarn用户）有读取该文件的权限。比如HDFS文件设置权限：

hdfs dfs -chmod 644 /hdfs/shared/path/large-file.txt

快速排查小技巧 #

• 先在集群任意节点上手动验证路径：比如用hdfs dfs -cat /hdfs/path/to/file.txt或者cat /shared/local/path/file.txt，确认文件存在且能正常读取。
• 如果是YARN Cluster模式，Driver是运行在集群节点上的，不是你提交任务的本地机器，所以绝对不能用本地路径！

内容的提问来源于stack exchange，提问作者fricadelle