如何优化pandas对5000万行超大dataframe的query查询速度？

你当前代码的性能瓶颈主要有两点：

1. 逐行遍历df_scope调用query，每次查询都会全表扫描5000万行数据，时间复杂度极高
2. 存在大量冗余计算：你只需要判断是否存在匹配项，不需要统计匹配行数，也不需要保留C不在目标列表的无效数据

最优方案：预过滤+向量化匹配（提速可达千倍级） #

该方案仅需要扫描1次全表，后续所有判断都是O(1)复杂度的集合查询，适配绝大多数场景：

import pandas as pd

# 1. 预过滤df_b，仅保留C在目标列表中的行，同时只取需要的M、W两列，大幅减少待处理数据量
valid_b = df_b.loc[df_b['C'].isin(my_list), ['M', 'W']]
# 2. 去重得到所有符合条件的(M,W)唯一组合，仅保留存在性标识，不需要重复记录
valid_pairs = set(zip(valid_b['M'], valid_b['W']))

# 3. 向量化判断df_scope的每行组合是否合法，完全避免循环查询大表
df_scope['pair'] = list(zip(df_scope['M'], df_scope['W']))
df_scope['result'] = df_scope['pair'].isin(valid_pairs).map({True: 'Yes', False: 'No'})

# 输出结果
for _, row in df_scope.iterrows():
    print(f"PN: {row['M']} {row['result']}")

其他可选优化方案 #

• 方案二：merge关联替代循环，适合需要保留更多匹配字段的场景

valid_b = df_b.loc[df_b['C'].isin(my_list), ['M', 'W']].drop_duplicates()
valid_b['exist'] = True
res = df_scope.merge(valid_b, on=['M', 'W'], how='left')
res['result'] = res['exist'].fillna(False).map({True: 'Yes', False: 'No'})

• 方案三：替换pandas为polars库
  如果5000万行数据内存占用过高、处理速度仍不满足要求，可以用polars替代pandas，相同逻辑下处理速度是pandas的5-10倍，内存占用仅为pandas的一半左右。
• 方案四：提前建立复合索引
  如果需要频繁执行不同规则的查询，可以提前给df_b建立(M,W)的复合排序索引，后续查询直接走索引定位，不需要全表扫描：

df_b = df_b.set_index(['M', 'W']).sort_index()
# 后续查询直接用索引定位
k = df_b.loc[(row.M, row.W)]

内容的提问来源于stack exchange，提问作者jvels