如何用字典元素匹配DataFrame两列值并修复CASE WHEN报错？

需求：用字典元素匹配DataFrame的name和id两列值，若两列值的组合存在于字典中，则在flag列返回True，否则返回False。
示例字典：dic = [("a",1),("b",2),("c",3)]
原实现代码：

df = df.withColumn(
    "flag",
    when(struct(col("a"), col("b")).isin(dic), lit('True'))
    .otherwise(lit("False"))
)

执行时报错：

ERROR occurred while validating: user_dw_pnldetail Error:
[UNSUPPORTED_FEATURE.LITERAL_TYPE] The feature is not supported:
Literal for '[a, 1]' of class java.util.ArrayList. SQLSTATE: 0A000

Spark的isin方法无法直接识别Python元组列表作为struct的匹配值，因为会将元组转换为Java ArrayList类型，而Spark不支持这种类型作为字面量。以下两种方法可以解决这个问题：

方法1：将字典元素转换为Spark可识别的Struct字面量 #

把字典里的每个元组转换成struct(lit(val1), lit(val2))的形式，让Spark能识别为struct类型的字面量，再传入isin：

from pyspark.sql.functions import struct, lit, when, col

# 转换字典为Spark支持的struct列表
dic = [("a",1),("b",2),("c",3)]
spark_match_structs = [struct(lit(name), lit(id_val)) for name, id_val in dic]

# 生成flag列（注意替换为实际列名，原代码的col("a")/col("b")需对应name/id）
df = df.withColumn(
    "flag",
    when(struct(col("name"), col("id")).isin(spark_match_structs), lit(True))
    .otherwise(lit(False))
)

方法2：广播小表关联实现匹配 #

如果字典数据量较大，推荐用广播小表的方式关联，性能更稳定：

from pyspark.sql.functions import broadcast, lit

# 将字典转为小DataFrame
dic = [("a",1),("b",2),("c",3)]
match_df = spark.createDataFrame(dic, ["name", "id"])
match_df = match_df.withColumn("flag", lit(True))

# 左关联原DataFrame，填充flag列
df = df.join(broadcast(match_df), on=["name", "id"], how="left")
df = df.withColumn("flag", when(col("flag").isNotNull(), lit(True)).otherwise(lit(False)))

错误原因 #

原代码直接将Python元组列表传入isin，Spark会把每个元组解析成Java ArrayList类型的字面量，而isin不支持这种复杂类型的字面量匹配，因此抛出UNSUPPORTED_FEATURE.LITERAL_TYPE错误。

内容的提问来源于stack exchange，提问作者amrutha