如何从Spark优化逻辑计划中获取Relation节点的别名或原文件名？

好问题！默认情况下Spark的优化计划（比如explain()输出）会简化显示节点信息，所以你看不到指定的临时视图别名或原CSV文件路径。下面给你几个可行的方法，从优化计划或相关API中获取这些信息：

1. 直接通过DataFrame API获取原文件路径 #

如果你的DataFrame是从文件系统读取的（比如CSV），Spark提供了一个简单的方法inputFiles()来直接获取所有输入文件的路径，这比解析优化计划更直接：

// 打印DataFrame读取的所有CSV文件路径
empDataSet.inputFiles.foreach(filePath => println("原CSV文件路径: " + filePath))

2. 解析LogicalPlan获取文件路径和视图别名 #

如果你需要从优化计划的LogicalRelation节点中提取信息，可以通过访问DataFrame的queryExecution.logical属性来遍历逻辑计划结构：

import org.apache.spark.sql.catalyst.plans.logical.LogicalRelation
import org.apache.spark.sql.execution.datasources.DataSource

// 获取DataFrame的逻辑计划
val logicalPlan = empDataSet.queryExecution.logical

// 遍历逻辑计划，找到所有LogicalRelation节点
logicalPlan.collect {
  case lr: LogicalRelation =>
    // 获取原CSV文件路径：从DataSource的options中提取path
    lr.source match {
      case ds: DataSource =>
        ds.options.get("path").foreach(path => println("原CSV文件路径: " + path))
      case _ =>
        println("无法获取文件路径（非文件数据源）")
    }
    // 获取临时视图别名：从Spark Catalog中查询
    sparkSession.catalog.getTempView("employees").foreach(view => println("临时视图别名: " + view.name))
}

3. 查看扩展版的优化计划输出 #

使用explain(mode="extended")可以打印更详细的逻辑计划信息，虽然不会直接显示文件路径，但能看到更多节点元数据，帮助你确认Relation节点的来源：

empDataSet.explain(mode="extended")

在输出的逻辑计划部分，你会看到更详细的节点定义，比如关联的数据源类型等。

为什么默认优化计划只显示"csv"？ #

默认的explain()输出是简化版的，它只显示节点的核心类型（比如csv代表CSV数据源），不会展示所有的元数据（比如文件路径、视图别名），目的是让输出更简洁易读。如果需要这些细节，就需要通过上面的API方法来提取。

内容的提问来源于stack exchange，提问作者A Beginner