从含嵌套结构的Spark DataFrame提取值：数字字段名语法问题

这个问题的核心原因是Python不允许标识符以数字开头，所以你直接用.0访问字段会触发语法错误——Python会把它解析成无效的语法结构，而不是字段名。下面是几种可行的解决方案：

方法1：使用方括号+完整字段路径字符串 #

这是最直接的方式，把整个嵌套字段路径作为字符串传入方括号：

# 提取active和inactive字段
df_temp = df1.select(
    df1["variables.actives.data.0.active"],
    df1["variables.actives.data.0.inactive"]
)

方法2：使用col()函数配合字段路径字符串 #

导入col函数后，同样用完整字符串路径指定字段，这种方式在复杂查询中更灵活：

from pyspark.sql.functions import col

df_temp = df1.select(
    col("variables.actives.data.0.active"),
    col("variables.actives.data.0.inactive")
)

方法3：逐层使用getField()方法 #

如果想保留部分点语法的链式调用，可以用getField()方法来访问数字命名的字段：

df_temp = df1.select(
    df1.variables.actives.data.getField("0").active,
    df1.variables.actives.data.getField("0").inactive
)

额外提示 #

如果你的data结构下有多个数字命名的字段（比如0、1、2...），可以考虑先将data这个struct转换为键值对数组，再展开处理，比如用stack函数或者explode(map_entries(to_map(data)))，不过这是针对多数字字段的扩展场景啦。

内容的提问来源于stack exchange，提问作者bigbong