Hadoop文件系统API能否写入本地相对文件路径？

是的，你遇到的情况确实是Hadoop文件系统（HDFS）API的默认行为导致的——它不支持直接使用未指定文件系统协议的本地相对路径，比如你写的target/pipelines，背后的原因和解决办法我给你理清楚：

为什么会失败？ #

Hadoop的FileSystem API在处理路径时，会遵循一套默认的解析规则：

• 如果你的Spark运行在集群环境（比如连接了HDFS集群），未指定协议的路径会默认被解析为HDFS路径，这时候target/pipelines会被指向HDFS的根目录下的对应路径，而不是你本地机器的目录。
• 即使是本地模式运行，默认的路径基准也可能不是你预期的项目根目录，而是Spark进程启动时的工作目录，加上没有明确指定本地文件系统协议，很容易出现解析错误。

解决办法 #

这里有几个靠谱的方案，适合你的测试场景：

1. 明确指定本地文件系统协议 #

在路径前加上file://前缀，并且正确标识相对路径的基准：

• 如果你想指向当前工作目录下的target/pipelines，可以写成：file://./target/pipelines
• 更稳妥的方式是使用绝对路径，比如：file:///home/your-username/your-project/target/pipelines（注意这里是三个斜杠，file://是协议，后面的第一个斜杠代表本地根目录）

2. 配置Spark默认文件系统为本地 #

如果你只是在测试环境用本地模式运行Spark，可以在Spark配置里设置默认文件系统为本地，这样所有未指定协议的路径都会默认解析为本地文件系统：

// Scala示例
val spark = SparkSession.builder()
  .master("local[*]")
  .config("spark.hadoop.fs.defaultFS", "file:///")
  .appName("LocalPathTest")
  .getOrCreate()

这样你直接写target/pipelines就会被解析为本地当前工作目录下的对应路径。

3. 确认Spark进程的工作目录 #

确保你启动Spark应用的命令是在项目根目录下执行的，这样相对路径的基准才会是你预期的目录，配合file://前缀就能正确定位到target/pipelines。

注意事项 #

如果是在集群模式下测试，本地路径只对Driver节点有效，Executor节点无法访问Driver的本地文件系统，这种场景下建议还是用分布式存储（比如HDFS或者S3），或者把测试数据放到所有节点都能访问的共享存储上。

内容的提问来源于stack exchange，提问作者WestCoastProjects