如何从DataSourceV2Relation对象直接获取Spark catalog对应表名

完全可以直接从DataSourceV2Relation实例中提取表名，不需要全量遍历spark.catalog.listTables()的返回结果做匹配。

核心逻辑 #

DataSourceV2Relation内置了table属性，存储该关系关联的 catalog 表实例：

• 如果该关系是从Spark catalog中加载的表，table属性会实现org.apache.spark.sql.connector.catalog.Table接口，携带完整的表标识符信息
• 如果该关系是直接读外部数据源（无关联catalog表）、或者对应临时视图，该属性返回的是临时表/数据源的标识信息

代码示例 #

Scala 版本（Spark 3.x 通用） #

import org.apache.spark.sql.execution.datasources.v2.DataSourceV2Relation
import org.apache.spark.sql.catalyst.catalog.CatalogTable

// 替换为你实际拿到的DataSourceV2Relation实例
val v2Relation: DataSourceV2Relation = ???

val fullTableName = v2Relation.table match {
  // 匹配注册到catalog的托管表
  case ct: CatalogTable => Some(ct.identifier.unquotedString)
  // 其他场景返回表名或数据源标识
  case t => Some(t.name())
}

PySpark 版本 #

# 替换为你实际拿到的DataSourceV2Relation实例
v2_relation = ...

if hasattr(v2_relation, "table"):
    table_name = v2_relation.table().name()

注意：如果你需要严格匹配spark.catalog.listTables()返回的表，只需要将提取到的fullTableName和listTables()返回项的database + "." + name做等值对比即可，不需要遍历全量表的元数据字段。

内容的提问来源于stack exchange，提问作者user2328609