如何查询Delta表各分区文件数及单文件大小？附报错排查

错误原因解析 #

出现TypeError: 'JavaPackage' object is not callable的核心原因是Delta Lake的Java类未被正确加载，大概率是Spark会话未初始化Delta支持，或是Delta依赖包缺失。

方法一：使用DeltaTable官方API（推荐） #

无需直接操作底层Java对象，代码更简洁且不易出错：

from delta.tables import DeltaTable
import pyspark.sql.functions as f

# 初始化Delta表对象
delta_table = DeltaTable.forPath(spark, "你的Delta表路径")

# 获取包含文件元数据的DataFrame，自带分区信息、文件大小等字段
all_files_df = delta_table.snapshot().allFiles()

# 按分区列聚合，统计文件数量、总大小、平均大小
partition_stats_df = all_files_df.groupBy(
    *[f.col("partitionValues").getItem(key).alias(key) for key in partition_cols]
).agg(
    f.count("*").alias("file_count"),
    f.sum("size").alias("total_size_bytes"),
    f.avg("size").alias("avg_file_size_bytes")
)

# 查看结果
partition_stats_df.show()

方法二：修复原代码的类加载问题 #

如果坚持使用原思路，需先确保Spark会话正确加载Delta支持，再调整代码调用方式：

from delta.tables import *
from pyspark.sql import DataFrame
import pyspark.sql.functions as f

# 初始化Spark会话的Delta支持（若通过spark-submit启动，需额外指定Delta依赖包）
spark.conf.set("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
spark.conf.set("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")

# 正确获取DeltaLog实例
delta_log = spark._jvm.org.apache.spark.sql.delta.DeltaLog.forTable(spark._jsparkSession, "你的Delta表路径")
all_files_jdf = delta_log.snapshot().allFiles().toDF()
all_files_df = DataFrame(all_files_jdf, spark)

# 按分区聚合统计
partition_counts_df = all_files_df.groupBy(
    *[f.col("partitionValues").getItem(key).alias(key) for key in partition_cols]
).agg(
    f.count("*").alias("file_count"),
    f.sum("size").alias("total_size_bytes")
)

partition_counts_df.show()

关键注意事项 #

• 确保Spark环境已安装匹配版本的Delta Lake：本地环境可执行pip install delta-spark，集群环境需在spark-submit命令中添加--packages io.delta:delta-core_2.12:x.x.x（版本需与Spark版本对应）。
• partition_cols需替换为你的Delta表实际分区列名列表，例如["dt", "region"]。
• Delta元数据中的size字段即为文件大小（单位：字节），无需额外计算。

内容的提问来源于stack exchange，提问作者buttermilk