删除Pandas DataFrame匹配条件行并保持索引连续的实现方案
1. 高效行过滤实现方案
你原有循环遍历删除的写法会反复生成DataFrame副本,数据量较大时性能极差。直接使用pandas矢量化的isin()方法即可一步完成过滤,同时将字典键转为集合可进一步优化查询效率:
# 先把字典的键转为集合,成员查询效率更高 valid_file_set = set(last_modified_file_date_dict.keys()) # 直接筛选Source file列值在合法集合中的行 last_modified_tracking_df = last_modified_tracking_df[last_modified_tracking_df['Source file'].isin(valid_file_set)]
该写法时间复杂度为O(n),远优于原有循环的O(n²)复杂度,数据量越大性能优势越明显。
2. 重置为连续索引
过滤完成后调用reset_index()方法,传入drop=True参数即可丢弃原有不连续的旧索引,生成从0开始的连续整数索引:
last_modified_tracking_df = last_modified_tracking_df.reset_index(drop=True)
完整可运行代码
valid_file_set = set(last_modified_file_date_dict.keys()) last_modified_tracking_df = last_modified_tracking_df[last_modified_tracking_df['Source file'].isin(valid_file_set)].reset_index(drop=True) print(last_modified_tracking_df)
内容的提问来源于stack exchange,提问作者Gorib_coder
相关产品推荐
相关产品推荐

