PySpark读取HDFS CSV转DataFrame时遇Incomplete HDFS URI错误求助

这个错误我之前也碰到过，本质是Spark在解析HDFS路径时，发现你的URI格式不完整——你只指定了HDFS的主机和端口，却没跟上具体的文件或目录路径，导致触发实际IO操作（比如生成DataFrame需要扫描分区）时，Java端的HDFS客户端报错。

错误原因拆解 #

你提到初始读取操作看似正常，这是因为Spark的懒加载特性：创建spark.read.csv()对象时，并没有真正去访问HDFS，只有当你执行需要实际数据的操作（比如转DataFrame、查看分区、打印数据）时，才会触发URI解析和文件扫描，这时候才暴露出URI的问题。

快速修复方案 #

你的代码大概率是类似这种错误写法：

# 错误：只有HDFS地址，没有具体文件路径
df = spark.read.csv("hdfs://XX.XX.XX.XX:X000")

只需要在URI后面补上具体的文件或目录路径即可，比如：

# 正确：完整的HDFS路径，包含主机、端口和文件位置
df = spark.read.csv("hdfs://XX.XX.XX.XX:X000/user/your_username/data.csv")

进阶优化：配置默认HDFS地址 #

如果不想每次都写完整的URI，可以在初始化SparkSession时配置fs.defaultFS参数，这样后续直接写相对路径就行：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("HDFSCSVReader") \
    .config("fs.defaultFS", "hdfs://XX.XX.XX.XX:X000") \
    .getOrCreate()

# 直接使用相对路径读取
df = spark.read.csv("/user/data/your_file.csv")

额外验证步骤 #

1. 先在命令行用HDFS工具验证路径是否可访问：

hdfs dfs -ls hdfs://XX.XX.XX.XX:X000/user/data/your_file.csv

如果这条命令能返回文件信息，说明路径和权限都没问题；如果报错，先解决HDFS本身的访问问题。
2. 确认HDFS NameNode的端口是否正确（默认是9000，有些集群可能配置为8020，需要和集群管理员确认）。

另外你提到修改为不存在的文件后续的情况——如果路径格式正确但文件不存在，你会得到"FileNotFoundException"类的错误，和当前的URI不完整错误是不同的优先级问题，先解决URI格式问题再排查文件存在性。

内容的提问来源于stack exchange，提问作者Datmach