如何自动计算表中整数与varchar类型所有列的空行占比

核心实现逻辑是利用数据库的元数据表批量生成SQL，不需要手动逐列编写，可自动适配不同字段类型的空值判断规则：

实现步骤 #

• 第一步：查询目标库的INFORMATION_SCHEMA.COLUMNS系统表，获取目标表的所有字段名称、对应数据类型
• 第二步：根据字段类型自动生成对应判断逻辑：
  • 字符串类型（varchar/char/string/text等）：同时判断空字符串和NULL，生成对应计算语句
  • 非字符串类型（int/bigint/date/datetime等）：仅判断NULL，生成对应计算语句
• 第三步：将所有字段的计算逻辑拼接为完整SELECT语句，直接执行即可得到全表所有列的空值占比

代码示例（以Hive/Spark SQL为例） #

首先执行元数据查询语句，生成所有列的计算逻辑：

SELECT CONCAT(
    CASE
        WHEN data_type IN ('varchar', 'char', 'string', 'text')
        THEN CONCAT('(100.0 * SUM(CASE WHEN `', column_name, '` = \'\' OR `', column_name, '` IS NULL THEN 1 ELSE 0 END)) / COUNT(*) AS `', column_name, '`')
        ELSE CONCAT('(100.0 * SUM(CASE WHEN `', column_name, '` IS NULL THEN 1 ELSE 0 END)) / COUNT(*) AS `', column_name, '`')
    END,
    ','
) AS col_calculate_sql
FROM information_schema.columns
WHERE table_schema = '替换为你的库名'
  AND table_name = '替换为你的表名'
ORDER BY ordinal_position;

将上述语句返回的所有结果复制，删除最后一行末尾的逗号，前后拼接SELECT和FROM 你的库名.你的表名，即可得到最终执行语句。

适配其他数据库的调整点 #

• MySQL：仅需将上方data_type判断中的string去掉即可，其余逻辑一致
• 如果需要判断多空格的空值场景，可以把列名 = ''替换为TRIM(列名) = ''
• 4亿行大表计算时建议开启任务并行，若无需全表统计可增加分区过滤条件减少扫描数据量

内容的提问来源于stack exchange，提问作者mjoy