Spark/Scala循环处理HDFS多文件失败问题求助（本地正常、HDFS环境异常）

你遇到的核心问题是误用了本地文件系统API访问HDFS：java.io.File类是专门用于操作本地文件系统的，它无法识别HDFS的hdfs://协议URI。在本地开发时可能能运行，是因为你的本地机器配置了HDFS客户端环境（比如有Hadoop的配置文件），且Spark用local模式运行，此时HDFS客户端会把路径映射到远程集群，但部署到集群（比如YARN模式）后，Executor节点的本地文件系统根本不存在这个HDFS路径，所以直接报错。

下面提供两种可靠的解决方案，都是基于Spark/Hadoop的分布式文件系统API来处理HDFS文件：

方案1：使用Hadoop FileSystem API列举文件 #

这是最直接的方式，利用Hadoop的FileSystem类来访问HDFS目录并列举文件：

import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration

// 初始化Hadoop配置（Spark会自动加载集群的Hadoop配置）
val conf = new Configuration()
val fs = FileSystem.get(conf)
val targetPath = new Path("hdfs://172.X.X.X:8020/landing/")

// 列举目录下的所有文件（过滤掉子目录）
val fileNames = fs.listStatus(targetPath)
  .filter(status => !status.isDirectory)
  .map(status => status.getPath.getName)
  .toList

// 逐个处理文件
fileNames.foreach { fileName =>
  println(fileName)
  val fullPath = s"hdfs://172.X.X.X:8020/landing/$fileName"
  val event = spark.read.option("multiline", "true").json(fullPath)
  event.show(false)
}

方案2：使用Spark的分布式文件列举API #

如果你不想直接操作Hadoop的API，可以用Spark的wholeTextFiles来获取文件路径，这种方式更贴合Spark的分布式场景：

// 用通配符匹配目录下的所有文件，获取每个文件的完整路径
val filePaths = spark.sparkContext.wholeTextFiles("hdfs://172.X.X.X:8020/landing/*")
  .map(_._1) // wholeTextFiles返回的是(文件路径, 文件内容)，我们只取路径
  .collect()
  .toList

// 逐个处理文件
filePaths.foreach { filePath =>
  println(filePath)
  val event = spark.read.option("multiline", "true").json(filePath)
  event.show(false)
}

• 如果你的Spark应用是部署在YARN集群上，确保HDFS路径是集群内可访问的，且Spark应用能正确加载Hadoop的配置文件（通常集群环境会自动配置，不需要额外操作）。
• 如果你需要处理大量文件，不建议用collect()把所有文件路径拉到Driver节点（可能导致内存溢出），可以考虑用分布式的方式处理，比如直接读取整个目录并按文件分区处理：

  val allEvents = spark.read.option("multiline", "true")
    .json("hdfs://172.X.X.X:8020/landing/")
  // 后续直接对allEvents做转换逻辑即可，Spark会自动处理分布式文件
  

内容的提问来源于stack exchange，提问作者Naveen