PySpark如何直接在DataFrame中转换指定列的数组为目标字典结构

可以直接在Spark DataFrame层面通过内置高阶函数完成转换，完全不需要将数据拉取到Driver端操作，避免性能开销和复杂度。

PySpark 实现示例 #

首先导入依赖函数：

from pyspark.sql import functions as F

执行转换逻辑：

transformed_df = df.withColumn(
    "areas",
    # 遍历areas数组的每个map元素
    F.transform(
        "areas",
        lambda area_map: F.struct(
            # 取map的唯一key作为area_name
            F.map_keys(area_map)[0].alias("area_name"),
            # 转换pl字符串数组为指定嵌套结构
            F.transform(
                F.map_values(area_map)[0],
                lambda pl_str: F.struct(pl_str.alias("pl_name"))
            ).alias("pls")
        )
    )
)

Scala Spark 实现示例 #

import org.apache.spark.sql.functions._

val transformedDF = df.withColumn(
  "areas",
  transform(col("areas"), area_map => {
    struct(
      map_keys(area_map)(0).alias("area_name"),
      transform(map_values(area_map)(0), pl_str => struct(pl_str.alias("pl_name"))).alias("pls")
    )
  })
)

验证与写入 #

转换完成后可以通过以下命令验证结构和数据：

• 查看schema：transformed_df.printSchema()
• 查看实际数据：transformed_df.select("areas").show(false)
  验证无误后即可直接写入DynamoDB，输出格式会完全匹配你给出的要求。

内容的提问来源于stack exchange，提问作者akyayik