使用PySpark查询DBFS中parquet表行数的最优方法

table.count()慢的核心原因是需要全量扫描所有Parquet文件的内容做聚合，数据量大时耗时会非常高，可通过以下更高效的方案解决：

• 方案一：读取Parquet元数据直接统计（无需预处理，通用度最高）
  Parquet文件的Footer元数据中已经存储了每个文件的总行数，无需读取文件内容就能统计全表行数，速度比全表count快10~100倍不等，示例代码如下：

import pyarrow.parquet as pq
from pyarrow.fs import PyFileSystem, FSSpecHandler
from fsspec.implementations.dbfs import DBFSFileSystem

# 初始化DBFS文件系统
fs = PyFileSystem(FSSpecHandler(DBFSFileSystem()))
# 替换为你的Parquet表存储路径
parquet_dir = "dbfs:/your/parquet/table/path"

# 遍历所有Parquet分片读取元数据求和
dataset = pq.ParquetDataset(parquet_dir, filesystem=fs)
total_rows = sum(fragment.metadata.num_rows for fragment in dataset.fragments)

该方案支持分区表，会自动遍历所有分区下的Parquet文件。

• 方案二：利用Spark表统计信息（适合已注册为Spark表的场景）
  如果该Parquet路径已经注册为Spark的外部表，可提前收集一次表统计信息，后续直接查系统元数据就能拿到行数：

1. 首次使用前执行一次统计信息收集（表数据更新后需要重新执行）：

ANALYZE TABLE <你的表名> COMPUTE STATISTICS;

2. 直接查询行数：

nrows = spark.sql("DESCRIBE EXTENDED <你的表名>") \
              .filter("col_name = 'num_rows'") \
              .collect()[0][0]

• 方案三：Delta表专属方案（若表为Delta格式存储）
  如果你的Parquet表是基于Delta Lake格式存储的，直接读取Delta事务日志就能拿到最新的总行数，速度最快：

from delta.tables import DeltaTable

delta_tb = DeltaTable.forPath(spark, "dbfs:/your/delta/table/path")
total_rows = delta_tb.history().orderBy("version", ascending=False).first()["numRows"]

内容的提问来源于stack exchange，提问作者eljiwo