PySpark读取含多行字符串的CSV列选择后数据错乱求助

问题核心原因 #

1. 读取配置冗余且参数写法混乱：重复设置header=True，同时混用multiline和multiLine参数，冗余配置可能干扰解析逻辑
2. 写入文件时未同步多行解析参数，导致输出时引号内的换行被识别为新记录
3. 默认show()方法会截断长文本，容易造成数据拆分的视觉错觉，实际DataFrame内部数据可能是正常的

修正后的完整代码 #

import pyspark.sql.functions as F

# 读取CSV：清理冗余配置，统一参数写法
df = (
    spark.read
    .option("delimiter", "^")
    .option("header", True)
    .option("multiline", True)
    .option("escape", "\"")
    .csv("test3.csv")
)

# 完整显示数据，避免截断导致的视觉错乱
df.show(truncate=False)

# 添加字段并选择目标列
df = df.withColumn("isdeleted", F.lit(True))
select_cols = ['isdeleted','B','D','E','F']
df = df.select(*select_cols)

# 选列后完整查看数据
df.show(truncate=False)

# 写入文件时必须同步配置多行参数，防止数据拆分
(df.write
 .option("delimiter", "^")
 .option("header", True)
 .option("multiline", True)
 .option("escape", "\"")
 .mode("overwrite")
 .csv("output_test3")
)

关键注意事项 #

• 读取时避免重复设置同一参数：原代码中既通过.option("header", True)又在.csv()方法里传header=True，冗余配置可能引发解析异常
• 写入操作必须与读取配置保持一致：如果写入时不设置multiline和escape，Spark会把引号内的换行当作新行，直接导致输出文件数据错乱
• 使用show(truncate=False)查看数据：默认show()会截断长文本，开启truncate=False才能完整展示多行字段的真实内容，避免误判数据异常

内容的提问来源于stack exchange，提问作者JD-V