PySpark读取CSV文件异常求助：含复杂HTML列导致解析错乱

我的CSV文件在Excel中打开完全正常，但用PySpark读取时出现解析错乱的情况。推测是因为Body列包含长且复杂的HTML字符串导致的，试过修改分隔符但没用，求可行的解决办法。

附当前使用的PySpark代码 #

import pyspark
from pyspark.sql import *
from pyspark.sql.functions import *

spark = SparkSession.builder.master("local[*]").getOrCreate()

questionDf = spark.read \
        .format('csv')\
        .option("header", "true") \
        .load("Questions.csv")

questionDf.select("*").filter(col("Id").isNotNull()).limit(100).show()

打开效果对比 #

Excel打开效果 #

PySpark读取后的错乱效果 #

解决办法 #

问题出在HTML字符串里可能包含逗号（CSV默认分隔符）、换行符或者引号，PySpark的默认CSV解析器没法正确识别这些特殊字符所在的字段边界。试试下面几个配置组合：

• 开启引号包裹与转义支持：CSV里一般会用双引号把包含特殊字符的字段包起来，给PySpark加上这两个配置就能正确识别：

questionDf = spark.read \
        .format('csv')\
        .option("header", "true") \
        .option("quote", '"')  # 指定用双引号包裹字段
        .option("escape", '"') # 处理字段内部的双引号
        .option("multiLine", "true") # 允许字段里包含换行符（HTML里常有换行）
        .load("Questions.csv")

• 显式指定分隔符：如果你的CSV不是用逗号分隔，或者需要确认分隔符，直接明确指定：

.option("delimiter", ",") # 实际用的是分号就改成";"，依此类推

• 换用更强大的解析库：PySpark默认的解析库处理复杂场景不够稳，可以切换到univocity解析器：

.option("parserLib", "univocity")

• 验证解析结果：改完配置后先读几条数据看看效果，别直接读全量：

questionDf.select("Id", "Body").limit(5).show(truncate=False)

这样能直观看到Body字段是不是被完整正确解析了，不会出现错位或截断。

内容的提问来源于stack exchange，提问作者Hoang Minh Quang FX15045