如何在SQL中不指定具体列计算任意表全表NULL值占比

可行性结论 #

该需求完全可以实现，不需要提前知道表的列名和列数。你设想的遍历列统计NULL值的逻辑完全成立，实际实现时不需要逐行遍历计算，直接用聚合函数统计每列NULL值的总数量即可，执行效率更高。核心实现思路是结合数据库的信息模式（系统元数据表）获取列信息，再通过动态SQL生成统计逻辑执行即可。

核心计算逻辑 #

• 总单元格数 = 表总行数 * 表总列数
• NULL单元格总数 = 所有列的NULL值数量之和
• NULL值占比 = NULL单元格总数 / 总单元格数（可按需转换为百分比格式）

通用实现步骤 #

1. 从数据库自带的INFORMATION_SCHEMA.COLUMNS系统表中，筛选目标表的所有列名，同时统计总列数
2. 动态拼接SQL语句，对每一列生成SUM(CASE WHEN 列名 IS NULL THEN 1 ELSE 0 END)的计数逻辑，合并得到所有列的NULL值总计数
3. 拼接总行数统计逻辑，计算最终占比
4. 执行动态生成的SQL语句得到结果

不同数据库实现示例 #

PostgreSQL示例 #

DO $$
DECLARE
    target_table text := '你的表名'; -- 替换为实际表名
    col_list text;
    total_cols int;
    total_rows bigint;
    total_nulls bigint;
    null_ratio numeric;
BEGIN
    -- 获取总列数和列计数拼接字符串
    SELECT COUNT(*), string_agg(format('SUM(CASE WHEN %I IS NULL THEN 1 ELSE 0 END)', column_name), ' + ')
    INTO total_cols, col_list
    FROM information_schema.columns
    WHERE table_name = target_table
    AND table_schema = 'public'; -- 可按需替换为实际schema名

    -- 统计总行数
    EXECUTE format('SELECT COUNT(*) FROM %I', target_table) INTO total_rows;

    -- 统计总NULL数
    EXECUTE format('SELECT %s FROM %I', col_list, target_table) INTO total_nulls;

    -- 计算占比，处理除0场景
    IF total_rows * total_cols = 0 THEN
        null_ratio := 0;
    ELSE
        null_ratio := total_nulls::numeric / (total_rows * total_cols);
    END IF;

    RAISE NOTICE '全表NULL值占比为: %', round(null_ratio * 100, 2) || '%';
END $$;

MySQL示例 #

SET @target_table = '你的表名'; -- 替换为实际表名
SET @target_schema = DATABASE(); -- 默认使用当前数据库，可手动指定

-- 生成动态统计SQL
SELECT CONCAT(
    'SELECT ',
    'ROUND((', GROUP_CONCAT('SUM(CASE WHEN `', column_name, '` IS NULL THEN 1 ELSE 0 END)'), ') / (COUNT(*) * ', COUNT(*), ') * 100, 2) AS null_ratio_percent ',
    'FROM `', @target_table, '`'
) INTO @sql
FROM information_schema.columns
WHERE table_name = @target_table
AND table_schema = @target_schema;

-- 执行SQL输出结果
PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;

SQL Server示例 #

DECLARE @target_table SYSNAME = '你的表名' -- 替换为实际表名
DECLARE @target_schema SYSNAME = 'dbo' -- 替换为实际schema名
DECLARE @sql NVARCHAR(MAX)

-- 生成动态统计SQL
SELECT @sql = '
SELECT 
    ROUND(CAST(SUM(' + STRING_AGG('CASE WHEN ' + QUOTENAME(COLUMN_NAME) + ' IS NULL THEN 1 ELSE 0 END', ' + ') + ') AS FLOAT) / (COUNT(*) * ' + CAST(COUNT(*) AS VARCHAR) + ') * 100, 2) AS null_ratio_percent
FROM ' + QUOTENAME(@target_schema) + '.' + QUOTENAME(@target_table)
FROM INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_NAME = @target_table
AND TABLE_SCHEMA = @target_schema

-- 执行SQL输出结果
EXEC sp_executesql @sql

注意事项 #

• 所有示例仅需要替换为实际的表名和schema名，不需要修改任何列相关的代码
• 代码已经对空表、无列的特殊场景做了除0防护，不会触发报错
• 部分数据库对INFORMATION_SCHEMA系统表的访问需要对应权限，无权限时会执行失败

内容的提问来源于stack exchange，提问作者Majad Chowdhury