如何从PySpark DataFrame导出含重名列的CSV与XML文件？

生成CSV文件 #

Spark DataFrame不支持重名列，因此无需修改原表结构，只需在输出CSV时自定义表头即可：

1. 按需求顺序选取列：

from pyspark.sql.functions import col

# 假设原DataFrame名为df
selected_df = df.select("ID", "value_1", "value_2", "value_3", "value_4")

2. 写入CSV并添加自定义表头：

# 定义目标表头
custom_header = ["ID", "value", "value", "value", "value"]

# 创建表头临时DataFrame
header_df = spark.createDataFrame([custom_header])
# 合并表头与数据
final_csv_df = header_df.unionByName(selected_df, allowMissingColumns=True)

# 写入最终CSV文件
final_csv_df.write \
  .mode("overwrite") \
  .option("header", "false") \
  .csv("/dbfs/path/to/your/csv_output")

生成XML文件 #

借助Databricks自带的spark-xml库，通过构造嵌套结构和数组列来生成目标XML格式：

1. 构造符合XML结构的DataFrame：

from pyspark.sql.functions import array, struct, lit

# 构建嵌套层级：action -> action_type + profile; profile -> ID + 多个value
xml_ready_df = df.select(
  struct(
    lit("create").alias("action_type"),
    struct(
      col("ID"),
      array("value_1", "value_2", "value_3", "value_4").alias("value")
    ).alias("profile")
  ).alias("action")
)

2. 写入XML文件：

xml_ready_df.write \
  .mode("overwrite") \
  .format("xml") \
  .option("rootTag", "actions") \
  .option("rowTag", "action") \
  .option("excludeAttribute", "true") \
  .save("/dbfs/path/to/your/xml_output")

关键说明 #

• 用array将四个value_*列合并为数组，spark-xml会自动为数组每个元素生成独立的<value>标签
• struct函数用来构建XML中的嵌套节点（如<profile>、<action>）
• rootTag指定最外层根标签，rowTag指定每行对应的标签

内容的提问来源于stack exchange，提问作者Mikesama