PySpark中如何重命名或删除嵌套Struct列内带大括号的字段

一、直接删除{Color}字段 #

无需手动罗列所有嵌套字段，通过自动获取并过滤目标字段的方式操作：

Python 代码 #

from pyspark.sql import functions as F

# 获取product列的所有嵌套字段名
product_fields = [field.name for field in df.schema["product"].dataType.fields]
# 过滤掉"{Color}"字段
filtered_fields = [F.col(f"product.{field}") for field in product_fields if field != "{Color}"]

# 重新构造product列，替换原字段
df = df.withColumn("product", F.struct(*filtered_fields))

Scala 代码 #

import org.apache.spark.sql.functions._

// 获取product列的所有嵌套字段名
val productFields = df.schema("product").dataType.asInstanceOf[StructType].fields.map(_.name)
// 过滤掉"{Color}"字段
val filteredFields = productFields.filter(_ != "{Color}").map(field => col(s"product.$field"))

// 重新构造product列
val df = df.withColumn("product", struct(filteredFields: _*))

二、移除字段名的大括号（重命名为Color） #

自动处理所有字段，仅修改目标字段的名称：

Python 代码 #

from pyspark.sql import functions as F

product_fields = df.schema["product"].dataType.fields
renamed_fields = []
for field in product_fields:
    old_name = field.name
    # 去掉大括号，或按规则替换
    new_name = old_name.strip("{}") if old_name == "{Color}" else old_name
    renamed_fields.append(F.col(f"product.{old_name}").alias(new_name))

df = df.withColumn("product", F.struct(*renamed_fields))

Scala 代码 #

import org.apache.spark.sql.functions._

val productFields = df.schema("product").dataType.asInstanceOf[StructType].fields
val renamedFields = productFields.map { field =>
    val oldName = field.name
    val newName = if (oldName == "{Color}") oldName.stripPrefix("{").stripSuffix("}") else oldName
    col(s"product.$oldName").alias(newName)
}

val df = df.withColumn("product", struct(renamedFields: _*))

关键说明 #

• 两种方法都无需手动维护所有嵌套字段，适配字段数量多的场景
• 通过自动获取原Struct字段列表，过滤/重命名后重新构造Struct，全程无需手动罗列字段

内容的提问来源于stack exchange，提问作者Rushank Patil