You need to enable JavaScript to run this app. Pandas基于多列条件与值集匹配筛选DataFrame行
优惠活动
大模型
产品
解决方案
定价
更多

Pandas基于多列条件与值集匹配筛选DataFrame行

批量匹配(城市,国家)组合筛选DataFrame的可复用方案

不需要手动逐对编写(df['City'] == 'X') & (df['Country'] == 'Y')这类判断条件,以下两种方案都可以适配Locations列表较长的场景,同时能解决示例中Uk和UK这类大小写不统一导致的匹配漏判问题。

方案1:向量化集合匹配(推荐,性能最优)

这种写法不会随Locations列表长度增加出现性能损耗,哪怕列表有上千组元组,匹配速度也和筛选单行数据几乎一致。

  • 第一步:提前做字符串格式清洗,消除大小写、前后空格带来的匹配误差
    # 统一DataFrame内的字符串格式
    df[['City', 'Country']] = df[['City', 'Country']].apply(lambda col: col.str.strip().str.lower())
    # 同步清洗Locations列表的格式,保证两边匹配规则一致
    locations_cleaned = [(city.strip().lower(), country.strip().lower()) for city, country in Locations]
    
  • 第二步:直接生成匹配掩码完成筛选
    # 将DataFrame的两列组合成双层索引,判断是否存在于目标位置集合中
    match_mask = df.set_index(['City', 'Country']).index.isin(locations_cleaned)
    result_df = df[match_mask]
    

按你提供的示例数据,最终筛选得到的结果为:

CityCountryvalue
londonuk200
torontocanada40
parisus100

方案2:内连接匹配(兼容旧版pandas)

如果使用的pandas版本较低,无法稳定支持多列索引的isin匹配,可以通过合并表的方式实现同等效果:

import pandas as pd
# 将Locations元组列表转成和主表结构一致的小DataFrame
location_ref = pd.DataFrame(Locations, columns=['City', 'Country'])
# 做内连接,仅保留两列完全匹配的行
result_df = df.merge(location_ref, on=['City', 'Country'], how='inner')

注意:这种方式默认是严格的字符串精确匹配,如果存在大小写、前后空格的差异会直接匹配失败,需要提前参照方案1的步骤完成字符串格式清洗。

避坑提示

很多人会第一时间想到逐行判断的写法:

# 不推荐的低效写法
df[df.apply(lambda row: (row['City'], row['Country']) in Locations, axis=1)]

这种写法是逐行遍历的循环逻辑,当主表数据量达到十万级、Locations列表有数百组元组时,运行速度会比前两种向量化写法慢几十倍,非特殊场景不建议使用。


内容的提问来源于stack exchange,提问作者Mina

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 08:06:07