如何优化这段统计空值的Python代码？批处理是否可行？

原代码速度慢的核心原因是循环执行大量独立SQL查询，每次查询都要经历网络往返、SQL解析、执行等开销，同时频繁创建小DataFrame并拼接也会增加额外耗时。以下是几种针对性的优化方案：

1. 利用SQL Server系统视图直接获取统计（最快） #

SQL Server自带的系统视图可以直接读取列的空值统计信息，无需全表扫描，速度远超逐列查询（前提是表的统计信息为最新状态）。

实现步骤： #

1. 先将df_cols中的表名和列名转换为SQL的IN条件
2. 执行一次系统视图查询即可获取所有结果

示例代码：

import pandas as pd
import pymssql

# 提取需要统计的表和列，转成SQL安全的格式
table_list = "', '".join(df_cols['TABLE_NAME'].unique())
col_list = "', '".join(df_cols['COLUMN_NAME'].unique())

# 构造系统视图查询SQL
stats_query = f"""
SELECT 
    t.name AS [Table Name],
    c.name AS [Null Column Name],
    sp.null_count AS NullCount
FROM 
    sys.tables t
JOIN 
    sys.columns c ON t.object_id = c.object_id
JOIN 
    sys.stats_columns sc ON c.object_id = sc.object_id AND c.column_id = sc.column_id
JOIN 
    sys.stats s ON sc.object_id = s.object_id AND sc.stats_id = s.stats_id
CROSS APPLY 
    sys.dm_db_stats_properties(s.object_id, s.stats_id) sp
WHERE 
    t.schema_id = SCHEMA_ID('schema') -- 替换为你的实际schema
    AND t.name IN ('{table_list}')
    AND c.name IN ('{col_list}')
"""

# 执行查询并保存
df_naFINAL = pd.read_sql_query(stats_query, engine)
df_naFINAL.to_csv(r'filepath', mode='a', index=False)

注：如果统计信息过时，可先执行UPDATE STATISTICS [db].[schema].[表名]更新单表统计，或EXEC sp_updatestats更新全库统计。

2. 合并所有查询为单次UNION ALL查询 #

将原本循环执行的多个查询合并为一个包含UNION ALL的大查询，只需要和数据库交互一次，大幅减少网络往返开销。

示例代码：

import pandas as pd
import pymssql

# 构造所有子查询
query_parts = []
for col, tbl in zip(df_cols['COLUMN_NAME'], df_cols['TABLE_NAME']):
    # 使用QUOTENAME处理特殊字符，避免SQL注入和标识符错误
    sub_query = f"""
    SELECT 
        COUNT(*) AS NullCount,
        QUOTENAME('{col}') AS [Null Column Name],
        '{tbl}' AS [Table Name]
    FROM [db].[schema].[{tbl}]
    WHERE {col} IS NULL
    """
    query_parts.append(sub_query)

# 合并为单查询
full_query = "UNION ALL\n".join(query_parts)

# 执行查询并保存
df_naFINAL = pd.read_sql_query(full_query, engine)
df_naFINAL.to_csv(r'filepath', mode='a', index=False)

3. 代码层面的轻量优化 #

如果必须保留循环逻辑，可通过减少不必要的操作来提升速度：

• 直接读取标量结果而非创建小DataFrame
• 用字典列表收集数据，最后一次性转换为DataFrame
• 去掉不必要的print语句减少IO开销

示例代码：

import pandas as pd
import pymssql

data = []
for col, tbl in zip(df_cols['COLUMN_NAME'], df_cols['TABLE_NAME']):
    try:
        query = f"SELECT COUNT(*) FROM [db].[schema].[{tbl}] WHERE {col} IS NULL"
        # 直接读取统计结果
        null_count = pd.read_sql_query(query, engine).iloc[0, 0]
        data.append({
            'NullCount': null_count,
            'Null Column Name': col,
            'Table Name': tbl
        })
    except Exception:
        pass

# 一次性转换为DataFrame
df_naFINAL = pd.DataFrame(data)
df_naFINAL.to_csv(r'filepath', mode='a', index=False)

内容的提问来源于stack exchange，提问作者The_Nabzter