PySpark读取CSV时部分数据分隔符未解析问题排查与解决

问题描述 #

使用以下PySpark代码读取CSV文件时，出现小部分数据解析异常：

csv_df = spark.read.option("header", "true") 
              .csv(path, sep = '┐') 

异常表现为整行内容全部进入第一列（格式如"str┐str┐str┐str┐str┐str┐str┐str"），其余列均为null。这些异常行的分隔符数量与正常行一致，示例异常行如下：

FUNDACAO ESTATAL SAUDE DA FAMILIA FESF┐VIP┐BR┐Creative Cloud All Apps┐PAID┐SMB┐1┐1┐2┐2022-07-29

可能原因 #

• 分隔符编码不匹配：文件中部分行的┐和代码中指定的字符编码不一致（比如一个是全角UTF-8编码，另一个是其他编码），导致Spark无法识别分隔符。
• 隐藏控制字符干扰：异常行的行首/行尾存在不可见控制字符（如\r、\t或空白符），打乱了Spark的行分割逻辑，使得整行被判定为单个字段。
• 引号转义异常：若异常行中存在未正确转义的引号，Spark会将整行视为被引号包裹的单个字段，直接忽略内部的分隔符。
• 换行符不统一：文件混合了不同换行符（如\n和\r\n），导致Spark行分割出错，进而影响分隔符的解析逻辑。

解决办法 #

1. 校验并统一分隔符编码 #

用文本编辑器（如Notepad++）开启“显示所有字符”功能，查看异常行分隔符的真实编码，确认是否与代码中使用的一致。若不一致，要么替换代码中的分隔符为文件实际使用的字符，要么统一转换文件中的分隔符。

2. 清理隐藏控制字符 #

• 读取时添加忽略首尾空白的配置：

csv_df = spark.read.option("header", "true") 
              .option("ignoreLeadingWhiteSpace", "true")
              .option("ignoreTrailingWhiteSpace", "true")
              .csv(path, sep='┐')

• 若存在其他控制字符，先预处理清洗数据：

from pyspark.sql.functions import regexp_replace

# 先按文本读取所有行
csv_df = spark.read.text(path)
# 替换掉非打印控制字符
csv_df = csv_df.withColumn("value", regexp_replace("value", r"[\r\n\t\0]", ""))
# 拆分字段并映射为结构化DataFrame
csv_df = csv_df.selectExpr("split(value, '┐') as cols")
# 结合表头完成字段映射（需根据实际表头调整）

3. 处理引号转义逻辑 #

• 若文件使用双引号作为字段包裹符，添加引号转义配置：

csv_df = spark.read.option("header", "true") 
              .option("quote", "\"")
              .option("escape", "\"")
              .csv(path, sep='┐')

• 若文件未使用引号，可以直接禁用引号解析：

csv_df = spark.read.option("header", "true") 
              .option("quote", "\0")
              .csv(path, sep='┐')

4. 统一换行符读取规则 #

指定固定换行符强制Spark按规则分割行：

csv_df = spark.read.option("header", "true") 
              .option("lineSep", "\n")
              .csv(path, sep='┐')

内容的提问来源于stack exchange，提问作者user17101610