Hive SQL单行Null值统计查询求助

方法1：动态生成统计SQL（推荐，无需手动枚举字段） #

当表字段数量较多时，无需逐个编写判断逻辑，可通过查询元数据自动生成统计语句：

-- 替换your_database和your_table为实际库表名
SELECT concat('SELECT ', 
              concat_ws(' + ', collect_list(concat('if(', column_name, ' is null, 1, 0)'))), 
              ' AS null_count FROM your_table;')
FROM information_schema.columns
WHERE table_schema = 'your_database'
  AND table_name = 'your_table';

执行上述语句后，会生成一条完整的查询SQL，复制该SQL执行即可得到每行的Null值数量。示例生成的SQL形式如下（假设表有col1、col2、col3三个字段）：

SELECT if(col1 is null, 1, 0) + if(col2 is null, 1, 0) + if(col3 is null, 1, 0) AS null_count FROM your_table;

方法2：利用Map与Explode（需唯一行标识） #

如果表存在唯一标识每行的字段（如主键id），可将行数据转换为键值对Map，再通过explode展开统计：

-- 替换id、your_table及字段列表为实际内容
SELECT id, count(1) AS null_count
FROM your_table
LATERAL VIEW explode(create_map(
    'col1', col1,
    'col2', col2,
    -- 依次列出所有字段
    'coln', coln
)) kv AS key, value
WHERE value IS NULL
GROUP BY id;

此方法需手动枚举字段，字段极多时效率不如方法1。

内容的提问来源于stack exchange，提问作者fleamon