Databricks下PySpark嵌套JSON列转DataFrame列的实现方法

首先你遇到的AttributeError: 'DataFrame' object has no attribute '_get_object_id'报错，是因为createOrReplaceTempView的参数要求传入字符串类型的视图名，你直接把DataFrame对象当参数传入了，写法本身错误。正确的临时视图注册写法应为adf.createOrReplaceTempView("bdf")，传入字符串格式的视图名即可解决该报错。

你遇到的嵌套列转换问题，是因为event_params是典型的动态键值对数组结构（通用埋点参数格式），无法直接通过固定字段路径提取，需要先炸开数组再做透视转换，两种可直接运行的实现方案如下：

方案1：PySpark DataFrame API 实现 #

实现分3步：

• 用explode炸开event_params数组，把每个数组元素拆分为独立行
• 提取每个struct内的key，同时用coalesce合并value下四个类型字段的非空值（该结构同一时间只会有一个类型字段存有效值）
• 按原表行粒度做pivot透视，把每个动态key转为独立列

from pyspark.sql import functions as F

# 炸开数组，提取参数key和对应有效值
exploded_df = adf.select(
    # 按需保留原表需要的其他字段，比如event_timestamp、event_name等
    "event_timestamp",
    "event_name",
    F.explode("event_params").alias("param")
).select(
    "*",
    F.col("param.key").alias("param_key"),
    F.coalesce(
        "param.value.double_value",
        "param.value.float_value",
        "param.value.int_value",
        "param.value.string_value"
    ).alias("param_value")
).drop("param")

# 透视生成独立列，groupBy内放入所有需要保留的非参数维度字段即可
result_df = exploded_df.groupBy(
    "event_timestamp",
    "event_name"
).pivot("param_key").agg(F.first("param_value", ignorenulls=True))

运行后result_df会自动生成ignore_referrer、session_engaged、engagement_time_msec、value、page_location等独立列，列名完全对应event_params里的key值，不需要手动提前枚举。

方案2：Spark SQL 实现 #

先正确注册临时视图，再写SQL完成相同逻辑：

# 正确注册临时视图，传入字符串类型的视图名
adf.createOrReplaceTempView("bdf")

result_df = spark.sql("""
WITH exploded_params AS (
    SELECT
        event_timestamp,
        event_name,
        param.key AS param_key,
        COALESCE(
            param.value.double_value,
            param.value.float_value,
            param.value.int_value,
            param.value.string_value
        ) AS param_value
    FROM bdf
    LATERAL VIEW EXPLODE(event_params) t AS param
)
SELECT * FROM exploded_params
PIVOT (
    FIRST(param_value, true)
    FOR param_key IN (
        -- 提前枚举已知key可以提升运行性能，不知道全量key时可省略IN段，Spark会自动扫描推导
        'ignore_referrer', 'session_engaged', 'engagement_time_msec', 'value', 'page_location'
    )
)
""")

注意：省略PIVOT后的IN列表时，Spark会全表扫描收集所有存在的key生成列，数据量较大时运行效率会降低，提前枚举已知key可以明显优化性能。

注意事项 #

• 你之前写的event_params :element:value语法不符合Spark规则，Spark SQL访问struct嵌套字段直接用.分隔路径即可，数组类型必须先explode拆成单个struct元素才能访问内部字段，无法直接跨数组层级取字段。
• 由于每行event_params包含的key可能不完全一致，pivot后没有对应key的行，该列值会为null，属于正常表现。

内容的提问来源于stack exchange，提问作者Syed Sharjeelullah