PySpark动态拆分array单列提取多列并设置正确表头的问题

解决方案 #

你遇到的问题有两个核心原因：一是原DataFrame的第一行存储的是表头字段，被当成了普通数据行；二是拆分数组后没有手动指定列名，用了Spark默认生成的value[n]格式列名。
适配Spark 2.4版本的实现代码如下：

from pyspark.sql.functions import monotonically_increasing_id

# 1. 提取第一行的数组内容作为表头
header = df2.take(1)[0]["value"]

# 2. 加行号过滤表头行，拆分数组并重命名列
result_df = df2.withColumn("row_id", monotonically_increasing_id()) \
               .filter("row_id > 0") \
               .select([df2.value[i].alias(header[i]) for i in range(len(header))])

# 查看结果
result_df.show()

输出结果和你预期的结构完全一致：

+----+------+------+
|Name|Number|Salary|
+----+------+------+
|   A|     1|  2000|
|   B|     2|  3000|
|   C|     3|  4000|
+----+------+------+

补充说明 #

如果这个DataFrame是你从CSV文件读取生成的，那可以在读取阶段直接配置参数避免后续处理，更高效：

# 读文件时直接指定header=True，自动把第一行识别为表头
df2 = spark.read.csv("你的文件路径", header=True, inferSchema=True)

内容的提问来源于stack exchange，提问作者SparkUser