如何从PySpark中arrays_zip生成的数组中移除特定元素？

问题原因 #

你之前的代码无法运行，核心原因是arrays_zip生成的zipped列是数组嵌套结构体（每个元素是包含column_1和column_2的Struct类型），而你传入的['ghi','3.0']是普通字符串数组，两者类型不匹配，Spark无法识别为同一元素。

解决方案 #

方法1：用struct()构造匹配的结构体元素 #

直接构造和目标元素完全一致的结构体，传给array_remove即可精准匹配移除：

from pyspark.sql import functions as F

# 构造与zipped元素结构一致的目标结构体
target_struct = F.struct(F.lit("ghi").alias("column_1"), F.lit("3.0").alias("column_2"))

# 执行移除操作
edf_filtered = edf_zipped.withColumn(
    "zipped",
    F.array_remove(F.col("zipped"), target_struct)
)

# 查看结果
edf_filtered.show(truncate=False)

输出结果：

+----------------+----------------+------------------------------+
|column_1        |column_2        |zipped                        |
+----------------+----------------+------------------------------+
|[abc, def, ghi] |[3.0, 2.0, 3.0] |[{abc, 3.0}, {def, 2.0}]      |
|[rst, ghi, xyz] |[4.0, 3.0, 6.0] |[{rst, 4.0}, {xyz, 6.0}]      |
+----------------+----------------+------------------------------+

方法2：用filter()函数实现灵活过滤（推荐复杂场景） #

如果需要自定义过滤逻辑（比如只移除column_1为ghi的元素，或其他组合条件），可以用filter函数遍历数组，保留不符合移除条件的元素：

edf_filtered = edf_zipped.withColumn(
    "zipped",
    F.filter(
        F.col("zipped"),
        # 逻辑：保留不是( column_1=ghi 且 column_2=3.0 )的元素
        lambda x: ~(x["column_1"] == "ghi" & x["column_2"] == "3.0")
    )
)

edf_filtered.show(truncate=False)

这种方法的优势是支持复杂条件，比如只需匹配单个字段、多字段模糊匹配等场景。

验证结构一致性 #

处理后的zipped列Schema与原结构完全一致，不会改变数据类型：

edf_filtered.select("zipped").schema

输出：

StructType(List(StructField(zipped,ArrayType(StructType(List(StructField(column_1,StringType,true),StructField(column_2,StringType,true))),false),true)))

内容的提问来源于stack exchange，提问作者langtang