如何在Snowflake中实现单次调用SQL表值函数批量检测多列数据质量？

可行，Snowflake支持通过**可变参数（Variadic Arguments）**实现这类需求，以下是具体实现方案：

1. 定义支持可变参数的表值函数 #

使用VARIADIC关键字声明可变长度的参数列表，配合动态SQL遍历处理每一组表-列对，返回统一格式的检测结果。

示例函数定义：

CREATE OR REPLACE FUNCTION DQ_IS_NULL(VARIADIC params VARCHAR[])
RETURNS TABLE (
    table_name VARCHAR,
    column_name VARCHAR,
    null_count NUMBER,
    total_count NUMBER,
    null_percentage FLOAT
)
LANGUAGE SQL
AS $$
DECLARE
    result RESULTSET;
    sql_stmt VARCHAR;
BEGIN
    -- 校验参数个数为偶数（表-列成对）
    IF ARRAY_SIZE(params) % 2 != 0 THEN
        RAISE EXCEPTION '参数必须成对传入（表名, 列名），当前参数个数: %', ARRAY_SIZE(params);
    END IF;

    -- 构建动态SQL，遍历每一组表-列
    sql_stmt := '';
    FOR i IN 0 TO (ARRAY_SIZE(params)/2)-1 DO
        SET sql_stmt := sql_stmt || IFF(i=0, '', 'UNION ALL ') ||
        'SELECT ''' || params[2*i] || ''' AS table_name, ' ||
        '''' || params[2*i+1] || ''' AS column_name, ' ||
        'COUNT(CASE WHEN ' || params[2*i+1] || ' IS NULL THEN 1 END) AS null_count, ' ||
        'COUNT(*) AS total_count, ' ||
        'ROUND(COUNT(CASE WHEN ' || params[2*i+1] || ' IS NULL THEN 1 END)/COUNT(*)*100, 2) AS null_percentage ' ||
        'FROM ' || params[2*i];
    END FOR;

    -- 执行动态SQL并返回结果
    result := (EXECUTE IMMEDIATE sql_stmt);
    RETURN TABLE(result);
END;
$$;

2. 调用示例 #

支持传入任意多组表-列对：

SELECT * FROM TABLE(DQ_IS_NULL('TABLE_1','COLUMN_1','TABLE_1','COLUMN_2','TABLE_2','COLUMN_A'));

3. 关键说明 #

• 参数校验：函数内先检查参数个数是否为偶数，避免传入不完整的表-列对。
• 动态SQL：通过循环拼接SQL语句，对每组表-列独立统计空值情况，再用UNION ALL合并结果。
• 权限要求：函数的执行身份需要具备所有目标表的查询权限，否则会抛出权限错误。
• 返回格式：统一返回表名、列名、空值数量、总行数、空值占比，方便后续分析。

内容的提问来源于stack exchange，提问作者Alex Markides