PySpark展平struct列时如何实现动态重命名DataFrame重复列

• 列名重复问题：直接用字符串格式的"assigned_to.display_value"传给select时，Spark解析嵌套字段路径后，会默认取路径最后一段display_value作为列名，多个struct列的嵌套字段同名时就会出现完全重名的列。
• 报错问题：你后来拼的"col('xxx.display_value').alias('xxx_value')"是纯文本字符串，不是Spark可识别的Column对象，select操作只接受列对象、列名字符串或者函数构造的列表达式，根本不会执行你拼的这段文本，自然会触发类型不匹配报错。

全程不需要在循环内反复修改DataFrame，只要把所有带别名规则的列对象收集成列表，最后一次性select即可：

from pyspark.sql.functions import col
df23 = spark.read.parquet("dbfs:***/test1.parquet")
select_expr_list = []

# 逐列判断类型，构造符合命名规则的列表达式
for original_col, col_type in df23.dtypes:
    # 判定为struct类型时，提取嵌套的display_value并重命名
    if "struct" in col_type:
        select_expr_list.append(
            col(f"{original_col}.display_value").alias(f"{original_col}_value")
        )
    # 非struct类型直接按规则重命名即可
    else:
        select_expr_list.append(
            col(original_col).alias(f"{original_col}_value")
        )

# 一次性执行选择，得到命名规范的展平表
flat_df = df23.select(select_expr_list)

• 不要在循环内反复调用withColumn修改DataFrame：一方面你原本对非struct列新增空的{col}_value列的逻辑是冗余的——非struct列本身就有真实值，新增空列反而会造成数据冗余；另一方面循环内多次链式修改DataFrame会增加Spark Catalyst优化器的解析开销，拉低运行效率。
• 针对你提到的“同列有数据时是struct、无数据时是string”的schema漂移问题，读取时可以手动指定统一的StructType schema，强制所有目标嵌套列固定为带display_value字段的结构，哪怕列值为null，提取嵌套字段也会自动返回null值，不需要额外做类型兼容判断。

内容的提问来源于stack exchange，提问作者2713