Spark Scala在Windows本地读取JSON文件时遭遇Could not create FileClient异常的问题排查

从你的描述和代码来看，这个异常本质是Spark依赖的Hadoop文件系统客户端在Windows环境下无法正常初始化导致的，下面具体分析原因和对应的解决办法：

可能的原因及解决方案 #

1. Winutils版本与Spark依赖的Hadoop版本不匹配 #

你已经设置了hadoop.home.dir，但如果winutils的版本和Spark内置的Hadoop版本不一致，就会出现文件客户端创建失败的问题。

解决步骤：

• 先查看你的Spark版本对应的Hadoop版本（比如Spark 3.4.x通常对应Hadoop 3.3.x），可以在Spark的pom.xml或者官方文档里找到这个对应关系。
• 下载对应版本的winutils包（包含winutils.exe、hadoop.dll等关键文件），解压到C:\winutils目录下，确保C:\winutils\bin路径存在且包含完整的文件。
• 重启你的IDE或者终端，让配置生效。

2. 本地文件路径格式问题 #

Windows下的文件路径处理和Linux不同，相对路径可能会被Hadoop客户端解析出错，或者缺少本地文件系统的标识。

解决办法：

• 使用绝对路径替代相对路径：

val res = sparkSession.read.json("C:\\your-project-root\\src\\main\\resources\\test.json")

• 或者添加file:///前缀来明确指定本地文件系统：

val res = sparkSession.read.json("file:///C:/your-project-root/src/main/resources/test.json")

3. 缺少本地文件系统的显式配置 #

默认情况下Spark可能会尝试使用HDFS相关的配置，在本地环境下需要显式指定使用本地文件系统。

解决办法：
在构建SparkSession时添加fs.defaultFS的配置：

val sparkSession = SparkSession.builder()
  .master("local[*]")
  .config("fs.defaultFS", "file:///")
  .appName("App Name")
  .getOrCreate();

为什么内存数据源的方式可以正常运行？ #

你用sparkContext.parallelize直接传入JSON字符串序列的方式，是把数据直接加载到内存中作为数据源，完全不需要通过Hadoop的文件系统客户端去读取本地文件，所以绕开了Hadoop客户端初始化失败的问题，但这只是临时的替代方案，解决根本问题还是要修复Hadoop客户端的配置。

内容的提问来源于stack exchange，提问作者Jet