PySpark中如何获取Parquet文件等效于transient_lastDdlTime的属性

首先明确核心差异：transient_lastDdlTime是Hive Metastore维护的表级元数据属性，和表底层存储格式无关，记录的是表最近一次DDL操作的时间戳，Parquet文件格式本身没有内置完全等价的全局字段，具体实现根据你的Parquet表托管方式分两种情况：

已注册到Hive/Spark Metastore的Parquet表 #

不管底层存储是Parquet、ORC还是其他格式，只要表是注册在元数据服务里的，直接用Spark SQL执行和原HQL几乎一致的语句即可获取，和原HQL行为完全对齐：

# 替换为你的实际表名
tbl_name = "your_db.your_parquet_table"
ddl_time_row = spark.sql(f"SHOW TBLPROPERTIES {tbl_name} ('transient_lastDdlTime')").collect()[0]
transient_last_ddl_time = ddl_time_row[0]

注意：如果绕过Spark/Hive SQL直接往表路径下拷Parquet文件，没有执行MSCK REPAIR TABLE、ALTER TABLE、INSERT这类会触发元数据更新的操作，这个属性值不会自动更新，和原生Hive行为一致。

未注册到元数据服务的纯Parquet路径 #

这类Parquet数据集没有全局统一的表级元数据，不存在严格意义上的transient_lastDdlTime，可以根据业务场景选等效替代方案：

• 取路径下最新Parquet文件的修改时间作为等效值
  通过Hadoop FS API遍历目标路径，递归获取所有.parquet后缀文件的修改时间，取最大值即可，实现代码如下：

  parquet_path = "hdfs:///path/to/your/parquet/dataset"
  hadoop_conf = spark._jsc.hadoopConfiguration()
  JPath = spark._jvm.org.apache.hadoop.fs.Path
  fs = JPath(parquet_path).getFileSystem(hadoop_conf)
  
  latest_mtime = 0
  # 第二个参数True代表递归遍历子目录
  for file_status in fs.listFiles(JPath(parquet_path), True):
      file_path = str(file_status.getPath())
      if file_path.endswith(".parquet"):
          cur_mtime = file_status.getModificationTime()
          if cur_mtime > latest_mtime:
              latest_mtime = cur_mtime
  # Hive返回的transient_lastDdlTime是秒级时间戳，这里做单位对齐
  equivalent_ddl_time = int(latest_mtime / 1000)
  

• 自定义维护元数据
  如果需要严格区分表结构变更、数据写入等不同操作的时间，可在每次执行完表相关操作后，手动将当前时间戳写入Parquet路径下的专属元数据文件（比如_table_custom_meta），读取时优先读取该文件记录的时间戳即可。

内容的提问来源于stack exchange，提问作者Nikhil Reddy