pandas read_csv的error_bad_lines参数废弃原因及跳错行替代方案

废弃原因 #

• 原参数仅支持「直接报错终止」和「无感知跳过坏行」两种固定逻辑，无法满足自定义处理坏行、记录坏行信息等更丰富的使用需求
• 原有实现逻辑和pandas后续迭代的通用错误处理框架不兼容，维护成本较高，因此官方选择用功能更全面的参数完成替换

替代方案 #

on_bad_lines 是pandas 1.4.0及以上版本新增的参数，完全覆盖原error_bad_lines的能力，同时支持更灵活的配置：

1. 直接跳过坏行（完全等价原error_bad_lines=False效果） #

直接传入参数值'skip'即可，示例代码：

import pandas as pd
df = pd.read_csv("your_file_path.csv", on_bad_lines="skip")

2. 跳过坏行同时输出警告 #

传入参数值'warn'，跳过坏行的同时控制台会输出坏行的行号、字段差异等提示信息，适合需要统计异常数据量的场景：

df = pd.read_csv("your_file_path.csv", on_bad_lines="warn")

3. 自定义处理坏行 #

还可以传入自定义函数对坏行进行处理，函数接收当前坏行的字段列表作为入参，返回处理后要保留的字段列表即可：

# 示例：假设文件标准为3列，坏行只保留前3个字段
def custom_handle_bad_line(line):
    return line[:3]

df = pd.read_csv("your_file_path.csv", on_bad_lines=custom_handle_bad_line)

内容的提问来源于stack exchange，提问作者Atharva Katre