如何通过pd.read_csv()忽略无法进行类型转换的无效行？

原生Pandas的可用选项 #

Pandas的pd.read_csv()没有直接跳过类型转换失败行的原生参数，但可以通过以下参数处理部分无效情况：

• on_bad_lines（Pandas 1.3.0及以上）：针对列数不匹配的行，可设置为skip直接跳过，warn跳过并输出警告。但该参数不处理类型转换错误——这类错误发生在解析后的类型校验阶段，不在on_bad_lines的处理范围内。
• 指定dtype强制数据类型，但遇到无法转换的值时仍会抛出ValueError，无法自动跳过。
• 先用low_memory=False读取所有数据为字符串类型，后续逐列清洗转换。但这种方式仍有性能开销，更适合小规模数据。

大规模数据的高效处理思路 #

针对28000行的规模，Python逐行处理性能不足时，推荐以下方案：

• 预处理CSV文件：使用编译型语言（如Rust）编写轻量脚本，提前过滤掉列数不符、类型无法转换的行，再用Pandas读取清洗后的文件。编译型语言的执行速度远快于Python，能大幅降低预处理的性能开销。
• 并行处理库辅助：使用Dask等并行计算库的read_csv方法，利用并行读取提升效率，后续再通过过滤逻辑处理类型无效的行。但这种方式仍需额外编写过滤代码，性能提升幅度不如预处理方案。

实践总结 #

目前没有原生Pandas方案能直接在read_csv阶段跳过类型转换失败的行。如果追求性能，预处理是最优选择：自行实现脚本遍历CSV，校验每行的列数和字段类型，保留有效行。用编译型语言实现这类脚本，能有效解决Python处理的性能瓶颈。

内容的提问来源于stack exchange，提问作者Snowfallen