如何调试查看NameNode返回给PySpark的HDFS DataNode主机/端口信息？

下面几种方法可以帮你获取相关信息：

1. 开启调试日志查看 #

Spark和HDFS客户端的调试日志会记录NameNode返回的DataNode地址细节。你可以在启动Spark作业时添加以下配置，开启对应组件的DEBUG级别日志：

spark-submit \
  --conf spark.driver.extraJavaOptions="-Dorg.apache.hadoop.log.level=DEBUG" \
  --conf spark.executor.extraJavaOptions="-Dorg.apache.hadoop.log.level=DEBUG" \
  your_spark_script.py

日志中org.apache.hadoop.hdfs.DFSClient相关的输出会明确显示NameNode返回的DataNode主机名、端口以及块位置信息。

2. 使用HDFS命令行工具验证 #

通过hdfs fsck命令可以直接查询目标路径下文件的块分布及对应的DataNode信息，这和Spark从NameNode获取的信息是一致的：

hdfs fsck hdfs://namenode:8020/test/go -files -blocks -locations

执行后会输出每个文件的块列表，以及每个块所在的DataNode主机和端口。

3. 在PySpark代码中通过HDFS API直接获取 #

你可以借助Py4J调用HDFS的Java API，在代码里直接获取文件的DataNode位置信息，示例代码如下：

from py4j.java_gateway import java_import

# 获取HDFS文件系统实例
hadoop_conf = spark._jsc.hadoopConfiguration()
java_import(spark._jvm, "org.apache.hadoop.fs.FileSystem")
java_import(spark._jvm, "org.apache.hadoop.fs.Path")

fs = spark._jvm.FileSystem.get(hadoop_conf)
target_path = spark._jvm.Path("hdfs://namenode:8020/test/go")

# 遍历路径下的文件并获取块位置
for status in fs.listStatus(target_path):
    if status.isFile():
        block_locations = fs.getFileBlockLocations(status, 0, status.getLen())
        for blk_loc in block_locations:
            print(f"DataNode主机列表: {blk_loc.getHosts()}")
            print(f"DataNode端口列表: {blk_loc.getNames()}")

这段代码会直接从NameNode查询目标文件的块分布信息，和Spark读写DataFrame时获取的DataNode信息完全一致。

内容的提问来源于stack exchange，提问作者John Black