PySpark提取struct类型列中嵌套数组的指定索引位置值

你当前的Values列是固定schema的Struct类型，不是无键字典/Map类型，它明确包含elements（数组类型）、dimensions（数组类型）两个命名子字段，直接按嵌套路径访问即可，不需要复杂的解析逻辑。

PySpark访问嵌套结构的基础规则：

• 访问Struct的子字段：使用列名.子字段名的写法
• 访问Array的指定位置元素：使用[索引]的写法，注意Spark数组下标从0开始计数，你需要的「索引为1的元素」对应数组的第二个值

写法1：使用withColumn直接覆盖原列 #

这是最通用的写法，不需要手动枚举其他保留列，直接替换原Values列即可：

from pyspark.sql.functions import col

result_df = source_df.withColumn(
    "Values",
    col("Values.elements")[1]
)

写法2：使用selectExpr写SQL表达式 #

如果更习惯SQL风格的语法，可以用这个写法，运行效果和上面完全一致：

result_df = source_df.selectExpr(
    "Values.elements[1] as Values",
    "Column"
)

结果验证 #

执行后打印DataFrame的schema，会得到完全符合需求的结构：

root
 |-- Values: double (nullable = true)
 |-- Column: long (nullable = true)

空值逻辑说明：如果某行的Values是null、或者elements数组是null、或者elements数组长度不足2，对应行的Values会自动返回null，不会抛出运行时异常，符合Spark原生的空值安全逻辑。

内容的提问来源于stack exchange，提问作者Sara.SP92