Snowflake SQL中移除指定含NULL标记行，保留合法NULL行

核心问题拆解 #

你当前的困境是：同一Column A分组内，含NULL的行存在有效/无效之分，但缺乏直接的排序或标记字段来精准区分，常规去重、窗口函数会误删合法NULL行。

针对性解决方法 #

方案1：基于显性标记字段筛选（若存在标记） #

如果你的数据里有存储1/2/3/4的标记字段（比如row_flag），直接通过WHERE子句过滤：

WITH your_raw_cte AS (
    -- 替换为你原有的多CTE查询逻辑
    SELECT column_a, other_cols, row_flag FROM your_source_table
)
SELECT *
FROM your_raw_cte
WHERE
    -- 保留非NULL行
    other_cols IS NOT NULL
    -- 保留标记为3、4的合法NULL行
    OR row_flag IN (3,4);

方案2：基于业务特征推导有效NULL行（无显性标记时） #

如果没有标记字段，需从业务逻辑提炼有效NULL行的特征（比如：合法NULL行是分组内唯一的NULL行，或分组内不存在非NULL行）：

WITH grouped_stats AS (
    SELECT 
        column_a,
        other_cols,
        -- 统计分组内非NULL行的数量
        COUNT(CASE WHEN other_cols IS NOT NULL THEN 1 END) OVER (PARTITION BY column_a) AS non_null_row_count
    FROM your_source_table
)
SELECT column_a, other_cols
FROM grouped_stats
WHERE
    other_cols IS NOT NULL
    -- 分组内无非NULL行时，所有NULL行都是合法的
    OR non_null_row_count = 0;

方案3：窗口函数结合隐性业务规则排序 #

如果有隐性的优先级逻辑（比如数据生成顺序、业务默认值），可以构造排序条件来保留合法行：

WITH ranked_rows AS (
    SELECT 
        column_a,
        other_cols,
        ROW_NUMBER() OVER (
            PARTITION BY column_a
            ORDER BY
                -- 优先保留非NULL行
                CASE WHEN other_cols IS NOT NULL THEN 0 ELSE 1 END,
                -- 这里替换为业务隐性排序规则，比如某字段的默认值优先级
                CASE WHEN some_biz_column = 'DEFAULT' THEN 0 ELSE 1 END
        ) AS row_rank
    FROM your_source_table
)
SELECT column_a, other_cols
FROM ranked_rows
WHERE
    other_cols IS NOT NULL
    -- 保留分组内排序第一的NULL行（即合法行）
    OR row_rank = 1;

关键提示 #

所有筛选逻辑的前提是明确有效NULL行和无效NULL行的业务区分标准，如果无法提炼特征，建议和业务方确认规则，添加显性区分字段。

内容的提问来源于stack exchange，提问作者David Skaife