PySpark判断输入数据集是否含指定键 现有代码取值为NULL问题排查

问题产生原因 #

• 拼写不一致：代码中判断的字段路径是lc.eoouh.ci，但实际输入样本中的字段名是eoouch（多了一个字符c），路径不匹配导致判断永远为假，返回NULL。
• has_column方法不适用：你参考的has_column实现是用于检查Spark DataFrame顶层列是否存在的工具方法，无法适配UDF内部的Row类型嵌套结构检查，也不支持识别数组类型字段的路径。
• 未考虑数组结构的路径校验：lc是数组类型，你写的校验路径lc.eoouh.ci没有包含数组索引逻辑，无法匹配实际的嵌套结构。
• 隐式数组越界风险：代码直接使用y.lc[-1]取数组最后一个元素，当lc数组为空时会直接抛出异常，不会返回NULL。

可行解决方案 #

方案1：修复UDF逻辑（适配嵌套+数组场景） #

直接在UDF中处理所有字段不存在、数组为空的场景，不需要依赖外部的has_column方法：

from pyspark.sql.functions import udf, col
from pyspark.sql.types import StringType

df = df_s_a \
    .withColumn("ceci",
        udf(
            lambda y: 
                try:
                    # 修正字段拼写为eoouch
                    return y.lc[-1].eoouch.ci
                except (AttributeError, IndexError, KeyError):
                    return None,
            StringType()
        )(col('eh'))
    ) \
    .select(col('ceci'))
df.show()

方案2：使用Spark原生函数实现（性能更优，避免UDF开销） #

Spark原生的嵌套字段操作函数自动兼容空值、字段不存在的场景，性能比自定义UDF高10倍以上：

from pyspark.sql.functions import element_at, col

df = df_s_a \
    .select(
        element_at(col("eh.lc"), -1)
        .getField("eoouch")
        .getField("ci")
        .alias("ceci")
    )
df.show()

该写法不需要额外判断，只要任意一层字段不存在、数组为空，都会自动返回NULL，完全符合业务需求。

内容的提问来源于stack exchange，提问作者JohnWick