PySpark移除Map中空键键值对（无map_filter方法可用）

你的场景是所用PySpark版本不支持map_filter（该函数在Spark 3.0及以上版本才引入），以下是两种可行的替代方案：

方案1：使用自定义UDF处理 #

通过Python函数过滤Map中的空键项，再注册为UDF应用到列上：

from pyspark.sql.functions import udf
from pyspark.sql.types import MapType, StringType, IntegerType

# 定义过滤函数，保留非空键的键值对
def filter_empty_keys(input_map):
    if not input_map:
        return {}
    # 若需过滤含空格的空键，可改为 k.strip() != ''
    return {k: v for k, v in input_map.items() if k != ''}

# 注册UDF，注意类型要与你的col列Map类型匹配（示例为String键+Integer值）
filter_udf = udf(filter_empty_keys, MapType(StringType(), IntegerType()))

# 应用到DataFrame
dsNew = ds.withColumn("col", filter_udf("col"))

方案2：纯Spark内置函数实现（推荐） #

通过拆解Map、过滤、重新聚合的方式，完全依赖Spark分布式处理，性能优于UDF：

from pyspark.sql.functions import explode, map_from_entries, collect_list, struct

# 拆解Map为键值对行 → 过滤空键 → 重新聚合为Map
dsNew = ds.select(
    "ID",
    explode("col").alias("key", "value")
).filter("key != ''")  # 需处理空格空键可改为 trim(key) != ''
.groupBy("ID")
.agg(
    map_from_entries(collect_list(struct("key", "value"))).alias("col")
)

注意事项 #

• 若你的Map值类型不是Integer，需对应调整UDF的类型参数或后续聚合逻辑
• 方案2无需Python UDF，更适合大数据场景，优先选用

内容的提问来源于stack exchange，提问作者Abhishek Patil