Snowflake中无需罗列所有列名统计全列重复数据的方法

针对60列的表，不用手动写所有列名统计全列重复数据，有两种实用方法：

方法一：利用OBJECT_CONSTRUCT(*)快速分组 #

Snowflake的OBJECT_CONSTRUCT(*)函数可以自动将整行所有列转换为JSON键值对对象，相同内容的行生成的JSON完全一致，直接用它分组即可统计重复数：

查看重复行详情+计数 #

SELECT 
    OBJECT_CONSTRUCT(*) AS full_row,
    COUNT(*) AS duplicate_count
FROM your_table_name
GROUP BY OBJECT_CONSTRUCT(*)
HAVING COUNT(*) > 1;

高性能版本（用哈希值分组） #

如果只需要统计重复数量，不需要查看完整行内容，用HASH()对生成的JSON取哈希值，分组效率更高（哈希碰撞概率极低，业务场景可忽略）：

SELECT 
    HASH(OBJECT_CONSTRUCT(*)) AS row_hash,
    COUNT(*) AS duplicate_count
FROM your_table_name
GROUP BY HASH(OBJECT_CONSTRUCT(*))
HAVING COUNT(*) > 1;

方法二：通过系统视图动态生成SQL #

利用Snowflake的INFORMATION_SCHEMA.COLUMNS系统视图自动拼接所有列名，生成包含完整列的统计SQL，适合需要直接查看各列数据的场景：

生成动态SQL语句 #

SELECT 
    'SELECT ' || LISTAGG('"' || COLUMN_NAME || '"', ', ') || ', COUNT(*) AS duplicate_count FROM your_table_name GROUP BY ' || LISTAGG('"' || COLUMN_NAME || '"', ', ') || ' HAVING COUNT(*) > 1;' AS dynamic_sql
FROM INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_SCHEMA = '你的模式名' 
  AND TABLE_NAME = '你的表名';

执行这个查询后，复制结果中的dynamic_sql字段内容，直接运行就能得到全列重复的统计结果。

注：用双引号包裹列名是为了兼容含特殊字符、空格或关键字的列名，如果你的列名都是规范的，也可以去掉双引号。

内容的提问来源于stack exchange，提问作者Micah