如何更新DataFrame中含结构体数组的列：格式化colTimestamp为UTC

要实现数组内所有结构体的colTimestamp字段格式化为UTC格式，核心是利用Spark内置的transform函数（Spark 2.4及以上版本支持）遍历数组元素，修改指定结构体字段，同时保留其他字段不变。

Python 实现示例 #

from pyspark.sql.functions import transform, to_timestamp, date_format

# 格式化数组内结构体的colTimestamp为UTC格式
df = df.withColumn(
    "parentColumn",
    transform(
        "parentColumn",
        lambda struct_elem: struct_elem.withField(
            "colTimestamp",
            # 先将字符串转成Timestamp类型，再格式化为UTC标准格式
            date_format(to_timestamp(struct_elem.colTimestamp, "yyyy-MM-dd'T'HH:mm:ss.SSSSSS"), "yyyy-MM-dd'T'HH:mm:ss'Z'")
        )
    )
)

Scala 实现示例 #

import org.apache.spark.sql.functions.{transform, to_timestamp, date_format}

val df = df.withColumn(
    "parentColumn",
    transform(
        $"parentColumn",
        structElem => structElem.withField(
            "colTimestamp",
            date_format(to_timestamp(structElem.getField("colTimestamp"), "yyyy-MM-dd'T'HH:mm:ss.SSSSSS"), "yyyy-MM-dd'T'HH:mm:ss'Z'")
        )
    )
)

代码说明 #

• transform：遍历parentColumn数组的每个结构体元素，对每个元素执行自定义逻辑
• withField：修改结构体中的指定字段，不会影响其他原有字段（如colA、colB）
• to_timestamp：将原字符串类型的时间转换为Spark Timestamp类型，需匹配原时间格式yyyy-MM-dd'T'HH:mm:ss.SSSSSS
• date_format：将Timestamp格式化为UTC标准格式（示例中用yyyy-MM-dd'T'HH:mm:ss'Z'，可根据需求调整输出格式）

低版本Spark兼容方案（低于2.4） #

如果你的Spark版本不支持transform，可以通过explode展开数组，修改字段后再聚合：

from pyspark.sql.functions import explode, collect_list

# 展开数组
df_exploded = df.select("*", explode("parentColumn").alias("struct_elem"))
# 修改时间字段
df_updated = df_exploded.withColumn(
    "struct_elem",
    df_exploded.struct_elem.withField(
        "colTimestamp",
        date_format(to_timestamp(df_exploded.struct_elem.colTimestamp, "yyyy-MM-dd'T'HH:mm:ss.SSSSSS"), "yyyy-MM-dd'T'HH:mm:ss'Z'")
    )
)
# 重新聚合数组
df_final = df_updated.groupBy(df.columns).agg(collect_list("struct_elem").alias("parentColumn"))

这种方法需要注意分组键的选择，避免数据丢失，优先建议升级Spark版本使用内置函数方案。

内容的提问来源于stack exchange，提问作者Yadav