如何在Pandas处理文本转CSV时保留识别出的坏行？

1. 核心问题分析 #

原代码用sep='\s'（单空格匹配）会把连续空格识别为多个分隔符，导致字段数统计错误，进而触发坏行警告。另外，替换字符的正则表达式不够精准，无法完全覆盖需要移除的字符。

2. 修改后的代码 #

import pandas as pd

# 读取文本文件：用\s+匹配任意多空格作为分隔符，保留所有行
df = pd.read_csv(out_txt, sep='\s+', header=None, encoding="ANSI", engine='python')

# 移除指定特殊字符：#、&、(、)、°、«、%等，可按需添加更多字符
df = df.replace(r'[#&()°«%_~"{}=]', '', regex=True)

# 保存为CSV，不输出索引列
df.to_csv(out_csv, header=None, index=False)

3. 代码说明 #

• 读取文件：sep='\s+'会将1个或多个连续空格作为字段分隔符，避免因空格数量不一致导致的字段数错误；engine='python'确保正则分隔符正常工作，同时保留所有行（无论字段数多少）。
• 字符替换：正则r'[#&()°«%_~"{}=]'精准匹配需要移除的特殊字符，直接替换为空字符串。如果需要移除其他字符，只需在方括号内添加即可（例如添加@就改成[#&()°«%_~"{}=@]）。
• 保存CSV：index=False避免将DataFrame的索引列写入CSV文件，保证输出格式整洁。

4. 效果验证 #

针对你提供的输入文本，修改后的代码会：

• 保留所有行（包括字段数较多的第7行、包含特殊字符的第9/11/15行）
• 移除所有指定特殊字符（例如y)变成y，°#&4«x<i1变成4xi1，6.6%变成6.6）
• 输出的CSV文件中，字段数不一致的行会保留所有字段，缺失的字段位置会显示为空（符合CSV格式规范）

内容的提问来源于stack exchange，提问作者joseph_k