循环内超大规模DataFrame值检索过慢的高效优化方案

你手里有形状为(5187470, 109)的DataFrame对象_my_df，需要逐行迭代处理，每次迭代要从target列匹配指定字符串，提取对应行做计算。目前试过的4种方案（pandas布尔索引、groupby取组、numpy数组过滤、recarray匹配）速度都达不到要求，检索环节是核心性能瓶颈。

你之前试过的实现代码如下：

# Some previous manipulation for the approaches
_grp = _my_df.groupby(_my_df['target'])
_records = _my_df.to_records(index=False)
  
# First approach as pandas usual - Very slow  
df_final = _my_df[_my_df['target'] == 'value']

# Second approach by grouping - Very slow  
df_final = _grp.get_group('value')

# Third approach using numpy - A little faster  
df_final = _my_df.to_numpy()[_my_df['target'].to_numpy() == 'value']

# Fourth approach using recarray - A little faster 
df_final = pd.DataFrame.from_records(_records[np.where(_records['target'] == 'value')]) 

你现在慢的根本原因不是单次查询逻辑写得差，是把全表扫描匹配的逻辑放在了迭代循环里：每次取数都要遍历500多万行做字符串比较，迭代次数越多，重复计算的开销越大。之前的4种方案本质都是每次查询做一次全表扫描，没有从根上减少重复计算，所以提速有限。

1. 单次预分桶+位置索引（零额外依赖，提速100倍以上） #

只做一次全表预处理，把每个target取值对应的行位置提前存到字典里，后续迭代取数直接按位置切片，不需要再做任何字符串比较，时间复杂度从每次O(n)降到O(1)。

import numpy as np
import pandas as pd

# ---------- 以下逻辑仅执行1次，不要放在迭代循环内 ----------
# 把字符串列转category类型，内存占用降为原来1/5~1/20，匹配速度大幅提升
_my_df["target"] = _my_df["target"].astype("category")
# 拿到category编码后的numpy数组，避免反复取Series开销
target_codes = _my_df["target"].cat.codes.to_numpy()
# 建立字符串值和category编码的映射
val2code = dict(zip(_my_df["target"].cat.categories, range(len(_my_df["target"].cat.categories))))
# 预存每个取值对应的行索引位置
code2pos = {}
for code in np.unique(target_codes):
    code2pos[code] = np.where(target_codes == code)[0]
# 预存df的底层numpy数组，避免反复转换开销
df_values = _my_df.to_numpy()

# ---------- 迭代循环内的取数逻辑 ----------
target_val = "需要匹配的字符串值"
# 直接拿预存的位置切数据，无全表扫描
match_pos = code2pos[val2code[target_val]]
# 优先用numpy数组做后续计算，比转df快10倍以上
match_rows_np = df_values[match_pos]
# 必须要DataFrame格式时再调用iloc取，非必要不要转
match_rows_df = _my_df.iloc[match_pos]

注意：之前的groupby方案慢，就是因为没有提前缓存每个分组的位置，每次get_group还是会隐式做全量匹配，本质和布尔索引没有区别。

2. 替换计算引擎（最小代码改动，提速10~30倍） #

如果不想改现有逻辑，直接把pandas替换成面向OLAP优化的计算引擎，不需要手动做预索引就能拿到极高的字符串查询性能：

• 用Polars（Rust实现的列式数据框）：字符串过滤性能是pandas的20倍以上，内存占用低50%以上

  import polars as pl
  # 一次性转成polars格式
  pl_df = pl.from_pandas(_my_df)
  # 循环内直接过滤，毫秒级返回
  match_rows = pl_df.filter(pl.col("target") == "value")
  

• 用DuckDB（嵌入式分析型数据库）：直接对pandas DataFrame做SQL查询，自动做查询优化和索引加速，不需要做格式转换

  import duckdb
  # 循环内直接查原生pandas df
  match_rows = duckdb.sql("SELECT * FROM _my_df WHERE target = 'value'").df()
  

• 不要在循环里反复执行df[col] == val类的布尔判断，每执行一次就是遍历一次全表
• 非必要不要把numpy数组转回pandas DataFrame，DataFrame的构造开销非常大，后续计算能用numpy完成就优先用numpy
• 不要用默认的object类型存储字符串列，转成category类型或者pyarrow的string[pyarrow]类型，能同时降低内存占用和提升匹配速度

内容的提问来源于stack exchange，提问作者P. Solar