PySpark array_contains判断结构体数组包含值报Column is not Iterable错

F.array_contains的Python API第二个参数仅接受字面量（literal）值，不支持传入Column类型的列对象。传入列对象时函数会尝试将参数解析为可迭代的字面量集合，因此抛出Column is not Iterable错误。
另外你提供的复现代码存在一处逻辑偏差：transform返回的是结构体数组，和你实际场景中单个结构体类型的child_column类型不匹配，测试时需要先做修正。 #

以下方案都要求parent_column数组元素的结构体，和child_column的结构体字段名、字段顺序、字段类型完全一致（你给出的Schema满足该要求）。

方案1：原生SQL表达式调用（推荐，性能最优） #

Spark SQL引擎原生的array_contains支持第二个参数传入列，直接通过F.expr调用即可，无需额外序列化或UDF：

from pyspark.sql import functions as F

# 修正复现代码中child_column的类型（生产环境若child_column已是单个struct可跳过此步）
df = df.withColumn('child_column', F.col('child_column')[0])

# 核心判断逻辑
df = df.withColumn(
    'data_check',
    F.expr("array_contains(parent_column, child_column)")
)

方案2：array_exists高阶函数（Spark 2.4+适用，逻辑灵活） #

如果需要自定义匹配规则（比如忽略部分字段），可以用array_exists遍历数组做逐元素对比：

df = df.withColumn(
    'data_check',
    F.expr("array_exists(parent_column, elem -> elem == child_column)")
)

方案3：JSON序列化对比（低版本Spark兼容方案） #

如果Spark版本低于2.4，不支持数组高阶函数，可以将结构体序列化为JSON字符串后做匹配，性能略低于原生方案：

df = df.withColumn(
    'data_check',
    F.array_contains(
        F.expr("transform(parent_column, elem -> to_json(elem))"),
        F.to_json(F.col('child_column'))
    )
)

针对你提供的样例数据，上述代码返回结果和预期完全一致：第一行parent_column包含匹配的结构体，返回true；其余行无匹配项，返回false。

结构体相等判断为严格匹配：字段名、顺序、类型、值完全一致则判定为相等，字段的nullable属性差异不影响判断结果。

内容的提问来源于stack exchange，提问作者heinistic