如何使用PySpark从数据库表获取统计信息？实现返回表名及数据行数的函数方案

要实现这个需求，我们可以通过遍历Nbadb库中的所有表，逐个计算行数并汇总结果来完成。下面提供两种实用的实现方式，你可以根据自己的习惯选择：

方法一：纯SQL方式实现 #

这种方式延续你之前使用spark.sql的操作习惯，逻辑清晰直观：

def show_table_row_counts():
    # 第一步：获取Nbadb库中的所有永久表名
    tables_df = spark.sql("SHOW TABLES IN Nbadb").filter("isTemporary = false")
    
    # 初始化存储结果的空DataFrame
    result_schema = "tableName STRING, rowCount LONG"
    result_df = spark.createDataFrame([], schema=result_schema)
    
    # 遍历每个表，计算行数并合并结果
    for row in tables_df.collect():
        table_name = row["tableName"]
        # 动态生成SQL查询该表的行数
        count_sql = f"SELECT '{table_name}' AS tableName, COUNT(*) AS rowCount FROM Nbadb.{table_name}"
        table_count_df = spark.sql(count_sql)
        result_df = result_df.union(table_count_df)
    
    # 展示最终统计结果
    result_df.show()
    # 可选：返回结果DataFrame供后续使用
    return result_df

执行效果示例 #

调用函数后会输出类似这样的结果：

+------------+---------+
|   tableName|rowCount|
+------------+---------+
|       games|   12345|
|games_detail|  678900|
|     players|    4500|
|     ranking|     300|
|       teams|      30|
+------------+---------+

方法二：使用Spark Catalog API（更简洁） #

Spark提供了Catalog API来直接操作元数据，代码更简洁易读：

def show_table_row_counts():
    # 获取Spark Catalog实例
    catalog = spark.catalog
    
    # 获取Nbadb库下的所有表对象
    tables = catalog.listTables("Nbadb")
    
    # 收集每个表的名称和行数
    stats_rows = []
    for table in tables:
        # 跳过临时表，只处理永久表
        if not table.isTemporary:
            row_count = spark.table(f"Nbadb.{table.name}").count()
            stats_rows.append( (table.name, row_count) )
    
    # 转换为DataFrame并展示
    result_df = spark.createDataFrame(stats_rows, schema=["tableName", "rowCount"])
    result_df.show()
    return result_df

优化提示（针对大数据量表） #

如果你的表数据量很大，全表扫描COUNT(*)会比较耗时。可以先收集表的统计信息，再从元数据中直接读取行数：

1. 先为表收集统计信息（只需执行一次）：

# 为Nbadb下所有表收集统计信息
for table in catalog.listTables("Nbadb"):
    if not table.isTemporary:
        spark.sql(f"ANALYZE TABLE Nbadb.{table.name} COMPUTE STATISTICS")

2. 然后通过查询information_schema获取行数：

def show_table_row_counts_fast():
    stats_df = spark.sql("""
        SELECT table_name AS tableName, total_rows AS rowCount
        FROM information_schema.tables
        WHERE table_schema = 'Nbadb'
    """)
    stats_df.show()
    return stats_df

这种方式速度更快，但需要确保统计信息是最新的，适合不需要实时行数的场景。

内容的提问来源于stack exchange，提问作者redsiss