PySpark如何依据第四列取值合并三列生成struct类型car_info字段

核心实现逻辑 #

需先从options数组中取出下标参数，再分别到color、cylinder数组中匹配对应位置的元素，最终构造目标Map结构即可。PySpark原生支持0基下标直接访问数组元素，核心实现代码如下：

from pyspark.sql.functions import col, create_map, array

result = CAR_DATA.select(
    "store",
    create_map(
        col("car"),
        array(
            col("color")[col("options")[0]],
            col("cylinder")[col("options")[1]]
        )
    ).alias("car_info")
)

# 查看结果
result.show(truncate=False)

完整可运行测试示例 #

替换测试数据源为你自己的业务表即可直接使用：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, create_map, array

# 初始化SparkSession
spark = SparkSession.builder.appName("map_build_test").getOrCreate()

# 构造和你描述一致的测试数据
test_rows = [
    ("John's", "Ferrari", ["blue", "red"], [1.6, 1.8, 2.0], [0, 2])
]
CAR_DATA = spark.createDataFrame(test_rows, schema=["store", "car", "color", "cylinder", "options"])

# 执行转换逻辑
result = CAR_DATA.select(
    "store",
    create_map(
        col("car"),
        array(
            col("color")[col("options")[0]],
            col("cylinder")[col("options")[1]]
        )
    ).alias("car_info")
)

# 输出验证
result.show(truncate=False)

输出结果 #

运行后得到的结果完全匹配需求：

+-------+-------------------------+
|store  |car_info                 |
+-------+-------------------------+
|John's |{Ferrari -> [blue, 2.0]} |
+-------+-------------------------+

注意事项 #

如果实际业务中存在options数组长度不足、下标越界的情况，可以搭配when、element_at函数做异常兼容处理。

内容的提问来源于stack exchange，提问作者Evandro Lippert