PySpark查询JSON字段不存在时如何返回空值而非抛出错误

核心方案是用getItem()方法（或等价的下标语法）替代点符号访问Struct字段，字段不存在时会自动返回Null，无需逐个判断。如果字段数量多，可以通过列表批量生成选择列，避免重复代码。

修改后的代码示例 #

from pyspark.sql.functions import schema_of_json, lit, from_json, to_json, col
import json

s = '''{
   "data":{
      "Name":"Alice",
      "Age":28,
      "country":"USA"
   }
}'''

nested_data = '''{
   "Name":"Alice",
   "Age":28,
   "country":"USA"
}'''

json_schema = schema_of_json(lit(nested_data))

s_j = [json.loads(s)]
df = spark.createDataFrame(s_j)

df = df.withColumn("data_json", to_json(col("data")))

# 定义需要提取的所有字段列表
target_fields = ["Name", "sex", "country"]

df1 = df.select(
    from_json(col("data_json"), json_schema).alias("data1")
).select(
    # 批量生成列，用getItem访问字段，不存在则返回Null
    *[col("data1").getItem(field).alias(field) for field in target_fields]
)

display(df1)

原理说明 #

• 用点符号（如data1.sex）访问Struct字段时，Spark会严格校验Schema，字段不存在直接抛出AnalysisException。
• getItem(field)或col("data1")[field]属于动态访问，当字段不存在时不会报错，而是返回Null值，完美适配批量字段处理的需求。

内容的提问来源于stack exchange，提问作者thotwielder