如何在Databricks SQL中移除数组内值为Null的键值对？

在Databricks SQL中，要移除数组内每个结构体中值为NULL的键值对，需要结合数组遍历、结构体-键值对转换和过滤函数来实现，以下是两种可行方案：

方案一：基于map_entries+filter+map_from_entries #

适用于结构体字段类型不固定的场景，逻辑清晰且兼容性好：

SELECT
  transform(
    column1,
    -- 遍历数组中的每个结构体元素
    struct_element -> map_from_entries(
      -- 将过滤后的键值对数组转回结构体/Map
      filter(
        map_entries(struct_element),
        -- 过滤掉值为NULL的键值对
        kv_pair -> kv_pair.value IS NOT NULL
      )
    )
  ) AS cleaned_column
FROM table1;

方案二：基于map_filter（更简洁） #

如果你的Databricks Runtime版本支持map_filter函数（推荐Runtime 10.0+），可以用更简洁的写法：

SELECT
  transform(
    column1,
    struct_element -> map_filter(
      -- 将结构体转为通用Map类型（variant适配多类型值）
      cast(struct_element AS map<string, variant>),
      (key, value) -> value IS NOT NULL
    )
  ) AS cleaned_column
FROM table1;

关键函数说明 #

• transform：遍历数组中的每个元素，对每个结构体执行后续清洗逻辑
• map_entries：将结构体转换为键值对数组（每个元素是包含key和value的小结构体）
• filter：筛选出值不为NULL的键值对
• map_from_entries：将过滤后的键值对数组重新转换为结构体/Map
• map_filter：直接对Map类型进行过滤，保留符合条件的键值对

为什么except不生效？ #

except是SQL中的集合差集运算符（用于排除查询结果中的重复行或指定列），完全不具备处理结构体内部键值对的能力，所以无法解决你的问题。

内容的提问来源于stack exchange，提问作者Coder123