如何使用相对路径通过sc.textFile()向Spark加载本地文件？

嘿，这个问题我太懂了——毕竟写可复用的Spark代码时，绝对路径确实是个大坑！尤其是要把代码传到GitHub给别人用的时候，带个人用户名的绝对路径完全没法通用，相对路径才是正道。下面我就把亲测有效的方法和注意事项给你捋清楚：

一、先搞懂相对路径的基准 #

Spark里的相对路径，基准是你提交/运行Spark应用时的工作目录——也就是你在终端敲命令时所在的文件夹，或者IDE里配置的工作目录。所以核心思路是：把数据文件放到项目内的固定子目录，然后用相对于项目根目录的路径来加载。

二、项目结构建议 #

先给你一个标准的项目结构，这样不管谁克隆项目，目录结构都是统一的：

your-spark-project/
├── src/                    # 代码目录
│   └── main/
│       └── scala/
│           └── YourSparkApp.scala
├── data/                   # 存放输入数据的目录
│   └── input.txt           # 你的输入文件
└── build.sbt               # 项目依赖配置（如果用sbt）

把data目录和代码一起提交到GitHub，这样其他开发者克隆后，数据文件就在对应的位置。

三、本地开发（IDE运行）的代码写法 #

直接用相对于项目根目录的相对路径即可，不用加file://前缀（本地模式下Spark会自动识别本地文件系统）：

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object RelativePathDemo {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("RelativePathTest")
      .setMaster("local[*]")  // 本地模式运行
    
    val sc = new SparkContext(conf)
    
    // 关键：用相对路径加载data目录下的文件
    val inputRDD = sc.textFile("./data/input.txt")
    
    // 简单验证：打印行数
    println(s"成功加载 ${inputRDD.count()} 行数据")
    
    sc.stop()
  }
}

注意事项 #

• 确保IDE的工作目录是项目根目录：大部分IDE（比如IntelliJ）默认会把项目根目录设为工作目录，但如果你的运行配置里改了，要去「Run/Debug Configurations」里把Working directory改回项目根目录。

四、用spark-submit提交时的注意事项 #

当你把项目打包成jar后，运行spark-submit时，要在项目根目录下执行命令，这样相对路径才能正确指向data目录：

# 假设你的jar包在target目录下
spark-submit --class com.yourpackage.RelativePathDemo target/your-spark-app.jar

如果jar包和data目录不在同一个层级，就调整相对路径（比如../data/input.txt），但还是建议保持项目结构统一，减少混乱。

五、跨平台兼容小技巧 #

不同操作系统的路径分隔符不一样（Windows用\，Linux/macOS用/），可以用Java的Paths.get来生成跨平台的路径，避免手动写分隔符出错：

import java.nio.file.Paths

// 生成跨平台的相对路径
val inputPath = Paths.get("./data", "input.txt").toString
val inputRDD = sc.textFile(inputPath)

六、避坑提醒 #

• 不要在集群模式（比如YARN）下用本地相对路径：如果你的代码要跑在分布式集群上，本地相对路径会指向集群节点的本地文件系统，除非每个节点都有同样的文件，否则会报错。这种情况建议把数据放到HDFS或其他分布式存储上。
• 不要把绝对路径硬编码到代码里：比如file:///C:/Users/Kevin/xxx/input.txt，这种代码别人克隆后完全没法用，直接删掉！

内容的提问来源于stack exchange，提问作者Kevin Zhou