Spark应用HDFS Checkpoint URI解析异常求助：hdfs:///被解析为hdfs:/

这不是Bug，是HDFS URI的解析规则和配置依赖导致的问题，我来给你详细拆解：

为什么会出现这个错误？ #

HDFS URI的标准格式是 hdfs://<namenode主机>:<端口>/路径，当你写 hdfs:///tmp/log 时，这里的 /// 其实是省略了中间的namenode authority（主机+端口）部分，理论上Hadoop应该读取配置里的默认namenode地址来补全。但在某些场景下，解析逻辑会把 hdfs:/// 误处理成 hdfs:/，导致路径变成 hdfs:/tmp/——这时候URI缺少了必须的authority部分，就触发了 HadoopIllegalArgumentException。

解决办法 #

这里有几个靠谱的方案，你可以根据自己的环境选：

• 使用完整的HDFS URI：直接把namenode的主机和端口写全，比如 hdfs://your-namenode-host:9000/tmp/log，这样URI结构清晰，不会出现解析歧义，这是最稳妥的方式。

• 依赖默认配置，简化路径：

  1. 确保你的Hadoop core-site.xml 里已经正确设置了 fs.defaultFS 参数，比如 <value>hdfs://your-namenode-host:9000</value>。
  2. 然后在Spark里可以直接用绝对路径 /tmp/log 作为checkpoint目录（因为默认文件系统已经指向HDFS了），或者依然用 hdfs:///tmp/log，这时候Hadoop会自动用配置里的默认authority补全。

• 在Spark代码里显式配置默认FS：如果你的Spark应用没有正确加载Hadoop配置文件，可以在初始化SparkSession时直接指定：

val spark = SparkSession.builder()
  .appName("YourSparkApp")
  .config("spark.hadoop.fs.defaultFS", "hdfs://your-namenode-host:9000")
  .getOrCreate()

spark.sparkContext.setCheckpointDir("hdfs:///tmp/log")
// 或者更简单：spark.sparkContext.setCheckpointDir("/tmp/log")

总结 #

本质上是URI解析时的格式歧义问题，不是Spark或Hadoop的Bug，只要让URI的结构符合规则，或者确保默认文件系统配置正确，就能解决这个报错。

内容的提问来源于stack exchange，提问作者Girish Bhat M