如何可靠获取Delta表分区列？Databricks与本地结果差异解惑

问题背景 #

执行DESCRIBE delta.my_table``语句获取Delta表分区列时，Databricks与本地PyCharm环境返回的结果格式存在明显差异，导致解析逻辑需要适配不同环境，十分繁琐。

最小复现代码 #

from pyspark.sql.types import StructType, StructField, StringType, IntegerType

delta_table_path = "c:/temp_delta_table"
partition_column = ["rs_nr"]

schema = StructType([
        StructField("rs_nr", StringType(), False),
        StructField("event_category", StringType(), True),
        StructField("event_counter", IntegerType(), True)])

data = [{'rs_nr': '001', 'event_category': 'event_01', 'event_counter': 1},
 {'rs_nr': '002', 'event_category': 'event_02', 'event_counter': 2},
 {'rs_nr': '003', 'event_category': 'event_03', 'event_counter': 3},
 {'rs_nr': '004', 'event_category': 'event_04', 'event_counter': 4}]

sdf = spark.createDataFrame(data=data, schema=schema)

sdf.write.format("delta").mode("overwrite").partitionBy(partition_column).save(delta_table_path)

df_descr = spark.sql(f"DESCRIBE delta.`{delta_table_path}`")

df_descr.toPandas()

环境配置 #

• 本地PyCharm：pyspark=3.2.3，delta-spark=2.0.0
• Databricks：DBR 11.3 LTS，Spark=3.3.0，Scala=2.12

输出差异 #

• Databricks返回结果：

col_name                data_type     comment
0   rs_nr                      string        None
1   event_category             string        None
2   event_counter                 int        None
3   # Partition Information
4   # col_name              data_type     comment
5   rs_nr                      string        None

• 本地PyCharm返回结果：

col_name data_type comment
0           rs_nr    string        
1  event_category    string        
2   event_counter       int        
3                                   
4  # Partitioning                   
5          Part 0     rs_nr        

差异原因 #

核心原因是Delta Lake版本与Spark版本的匹配差异：

• Databricks DBR 11.3 LTS集成了Delta Lake 2.2.0版本，同时配套Spark 3.3.0，该版本对DESCRIBE命令的输出格式做了标准化优化，分区信息以结构化的方式展示。
• 本地环境使用的Delta Lake 2.0.0版本适配Spark 3.2.3，其DESCRIBE输出格式较旧，分区信息的展示逻辑未与Databricks环境对齐。

可靠获取分区列的方法 #

避免依赖DESCRIBE命令的文本解析，直接使用Delta Lake官方提供的API，该方法在所有环境中返回一致结果：

推荐方法：使用DeltaTable的detail() API #

from delta.tables import DeltaTable

# 加载目标Delta表
delta_table = DeltaTable.forPath(spark, delta_table_path)

# 直接获取分区列列表
partition_columns = delta_table.detail().select("partitionColumns").first()[0]
print(partition_columns)  # 输出示例: ['rs_nr']

该方法直接从Delta表的元数据中提取分区列信息，无需解析格式化文本，兼容性和可靠性拉满。

内容的提问来源于stack exchange，提问作者Siete