Pandas中loc与query性能差异及查询速度优化建议咨询

嘿，结合你使用的Python 2.7和Pandas 0.16.0环境，还有大表（DF1：400万行）用query更快、小表（DF2：2000行）用loc更快的场景，我整理了几个能明显提升10000次重复查询效率的实用方案：

针对大表DF1的优化 #

• 优化query的写法：别用字符串拼接传递查询值，Pandas 0.16.0已经支持用@引用外部变量，比如df1.query('col_name == @target_value')。这样能避免每次循环都做字符串拼接的额外开销，重复10000次的话，累积节省的时间很可观。
• 给查询列建立索引：虽然这个版本的Pandas索引优化不如新版本，但给常用查询列设置唯一索引后，用df1.loc[target_value]（单值匹配）的速度会大幅提升，甚至可能和query持平或更快。如果是多条件查询，试试复合索引，能进一步缩小查找范围。
• 优化列数据类型：如果查询列是字符串，转成category类型（Pandas 0.16已支持），这样内存占用更小，匹配速度更快，对大表的查询效率提升很明显。

针对小表DF2的优化 #

• 预构建哈希查找表：把DF2转成字典，用查询键作为字典的key，整行数据作为value，比如：

  # 假设用col_x作为查询列
  df2_lookup = {row['col_x']: row for _, row in df2.iterrows()}
  

  之后每次查询直接df2_lookup.get(target_value)，字典的O(1)查找速度比loc还要快，小表转字典的成本几乎可以忽略，10000次查询的优势会非常大。如果是多条件查询，把多条件组合成元组作为key即可。
• 直接用numpy数组查询：把DF2的查询列和数据转成numpy数组，比如query_col = df2['col_x'].values，data = df2.values，然后用np.where(query_col == target_value)[0][0]找到索引后取数据，速度也比loc快。

通用跨表优化方案 #

• 批量处理查询任务：别循环单条查，把10000个查询条件收集到一个列表里，用isin一次性查询，再把结果映射到每个条件。比如DF1可以这么做：

  all_targets = [val1, val2, ..., val10000]
  batch_result = df1[df1['col_name'].isin(all_targets)]
  # 之后再根据每个target匹配对应的结果行
  

  这样能减少Pandas内部的重复初始化开销，比循环单查快很多。
• 避免循环内的冗余操作：提前创建结果容器（比如列表），把每次查询的结果存进去，最后再转成DataFrame，别在循环里用append拼接DataFrame，那会非常慢。

内容的提问来源于stack exchange，提问作者Syntax_Error