如何用Pandas/Python将PySpark DataFrame保存为多字符分隔符CSV？

可行方案 #

方案1：临时单字符分隔后替换 #

先用数据中不存在的单字符做临时分隔符保存，再批量替换成目标多字符分隔符，适合中等数据量场景：

# PySpark转Pandas（数据量过大请用方案2）
pandas_df = pyspark_df.toPandas()

# 用临时单字符（如|，需确保数据无此字符）保存
temp_sep = "|"
pandas_df.to_csv("temp.csv", sep=temp_sep, index=False)

# 替换分隔符为@@
with open("temp.csv", "r", encoding="utf-8") as f_in, open("final.csv", "w", encoding="utf-8") as f_out:
    for line in f_in:
        f_out.write(line.replace(temp_sep, "@@"))

方案2：PySpark直接拼接列生成文本 #

大数据量场景下，直接在PySpark中拼接所有列为多字符分隔的字符串，再保存为文本文件（需手动处理表头）：

from pyspark.sql.functions import concat_ws

# 拼接所有列成@@分隔的字符串
combined_df = pyspark_df.select(concat_ws("@@", *pyspark_df.columns).alias("content"))

# 手动写入表头
header = "@@".join(pyspark_df.columns)
with open("final.csv", "w", encoding="utf-8") as f:
    f.write(header + "\n")

# 追加写入数据
combined_df.write.mode("append").text("final.csv")

方案3：Python csv模块手动写入 #

小数据场景下，直接用csv模块自定义每行的分隔逻辑：

import csv

pandas_df = pyspark_df.toPandas()

with open("final.csv", "w", encoding="utf-8", newline="") as f:
    writer = csv.writer(f)
    writer.writerow(pandas_df.columns)  # 写表头
    for row in pandas_df.values:
        writer.writerow(["@@".join(map(str, row))])  # 写每行数据

内容的提问来源于stack exchange，提问作者RickyS