Pandas基于多列条件与值集匹配筛选DataFrame行
批量匹配(城市,国家)组合筛选DataFrame的可复用方案
不需要手动逐对编写(df['City'] == 'X') & (df['Country'] == 'Y')这类判断条件,以下两种方案都可以适配Locations列表较长的场景,同时能解决示例中Uk和UK这类大小写不统一导致的匹配漏判问题。
方案1:向量化集合匹配(推荐,性能最优)
这种写法不会随Locations列表长度增加出现性能损耗,哪怕列表有上千组元组,匹配速度也和筛选单行数据几乎一致。
- 第一步:提前做字符串格式清洗,消除大小写、前后空格带来的匹配误差
# 统一DataFrame内的字符串格式 df[['City', 'Country']] = df[['City', 'Country']].apply(lambda col: col.str.strip().str.lower()) # 同步清洗Locations列表的格式,保证两边匹配规则一致 locations_cleaned = [(city.strip().lower(), country.strip().lower()) for city, country in Locations] - 第二步:直接生成匹配掩码完成筛选
# 将DataFrame的两列组合成双层索引,判断是否存在于目标位置集合中 match_mask = df.set_index(['City', 'Country']).index.isin(locations_cleaned) result_df = df[match_mask]
按你提供的示例数据,最终筛选得到的结果为:
| City | Country | value |
|---|---|---|
| london | uk | 200 |
| toronto | canada | 40 |
| paris | us | 100 |
方案2:内连接匹配(兼容旧版pandas)
如果使用的pandas版本较低,无法稳定支持多列索引的isin匹配,可以通过合并表的方式实现同等效果:
import pandas as pd # 将Locations元组列表转成和主表结构一致的小DataFrame location_ref = pd.DataFrame(Locations, columns=['City', 'Country']) # 做内连接,仅保留两列完全匹配的行 result_df = df.merge(location_ref, on=['City', 'Country'], how='inner')
注意:这种方式默认是严格的字符串精确匹配,如果存在大小写、前后空格的差异会直接匹配失败,需要提前参照方案1的步骤完成字符串格式清洗。
避坑提示
很多人会第一时间想到逐行判断的写法:
# 不推荐的低效写法 df[df.apply(lambda row: (row['City'], row['Country']) in Locations, axis=1)]
这种写法是逐行遍历的循环逻辑,当主表数据量达到十万级、Locations列表有数百组元组时,运行速度会比前两种向量化写法慢几十倍,非特殊场景不建议使用。
内容的提问来源于stack exchange,提问作者Mina
相关产品推荐
相关产品推荐

