Pandas dataframe.drop按条件删行时出现随机删除问题如何解决

核心触发原因 #

• 索引不唯一：如果你的DataFrame存在重复索引，drop操作会删除所有匹配该索引值的行，多次删除操作过程中索引的变化会放大这个问题，最终出现随机删行的表现
• 条件列存在空值：Pandas中对NaN值做布尔判断会返回NaN，包含NaN的布尔序列筛选出来的索引范围不稳定，会导致每次筛选的行不一致
• 操作对象为DataFrame视图而非副本：如果你的df是从其他DataFrame切片得到的视图而非独立副本，修改时会出现不可预期的联动行为
• 数据源读取存在随机性：服务器侧如果读取的是动态数据源、多进程并发读写的文件/数据库，可能每次加载到内存的df本身就不一致

修复方案 #

1. 前置处理规避底层风险 #

操作前先执行以下代码，确保df是索引唯一的独立副本：

# 生成独立副本，避免视图联动问题
df = df.copy()
# 重置为唯一的默认整数索引，消除重复索引影响
df = df.reset_index(drop=True)

2. 优化筛选逻辑，避免空值干扰 #

无需多次执行drop操作，一次性拼接所有筛选条件的稳定性更高，同时所有判断补充非空校验避免NaN的干扰：

# 拼接所有需要删除的条件
drop_condition = (
    (df['Pen ID'].notna() & (df['Pen ID'].str.len() <= 5))
    | (df['Operator ID'].notna() & (df['Operator ID'] == 'VC'))
    | (df['Test'].notna() & (df['Test'] == 'Test1'))
)
# 反向筛选保留符合要求的行
df = df[~drop_condition].reset_index(drop=True)

3. 排查服务器数据源一致性 #

如果上述修改后仍有问题，每次运行时先打印初始df的行数、关键列的统计值，确认每次加载到内存的原始数据是完全一致的，排除数据源本身的随机波动问题。

内容的提问来源于stack exchange，提问作者Ann Chavarria