Pandas DataFrame导出CSV文本拆分为多单元格，如何清除顽固换行符？

• 打印异常行的原始字符：执行print(repr(df.loc[5, 'PDF_text']))，查看文本中是否包含肉眼不可见的控制字符、未清洗的分隔符，定位具体的异常字符类型
• 检查CSV导出规则：默认CSV导出不会强制包裹字段，文本内的逗号、未清理的换行符都会被识别为字段/行分隔符，触发单元格拆分

1 更彻底的文本清洗 #

直接匹配所有ASCII控制字符（覆盖你之前遗漏的换页符、软换行等隐藏字符），同时处理编码异常的乱码字符：

# 替换所有不可见控制字符
df['PDF_text'] = df['PDF_text'].str.replace(r'[\x00-\x1F\x7F]', '', regex=True)
# 清理编码异常的无效字符
df['PDF_text'] = df['PDF_text'].str.encode('utf-8', errors='ignore').str.decode('utf-8')
# 统一合并多余空格为单个空格
df['PDF_text'] = df['PDF_text'].str.replace(r'\s+', ' ', regex=True).str.strip()

2 调整CSV导出参数（核心修复手段） #

导出时强制所有字段用双引号包裹，明确指定分隔符和适配Excel的编码，从格式层面避免分隔符识别错误：

import csv
df.to_csv(
    'file_name.csv',
    encoding='utf-8-sig', # 适配Excel打开避免乱码
    index=False,
    quoting=csv.QUOTE_ALL, # 所有字段强制加双引号，避免内部字符被识别为分隔符
    sep=',' # 明确指定分隔符
)

如果还是出现拆分，可以把分隔符改成制表符sep='\t'，导出为TSV格式，进一步降低分隔符冲突概率。

内容的提问来源于stack exchange，提问作者scotiaboy