如何在Pandas的1.6亿行DataFrame中高效执行多条件查询？

针对你提到的批量查询多组zipcode/number/letter组合的场景，以下是几种远优于循环的高效实现方式，全部基于Pandas的向量化操作，适合大数据量场景：

前提准备：将JSON查询条件转为DataFrame #

首先把API传入的JSON数据转成Pandas DataFrame，方便后续操作：

import pandas as pd

json_input = [{"zipcode": "123456A", "number": 1, "letter": "a"}, 
              {"zipcode": "123216B", "number": 1, "letter": "b"}]
query_df = pd.DataFrame(json_input)

# 假设你已经通过日期字典拿到目标df
df_target = date_dict["2023-06-01"]

方法1：使用merge（最直观的批量匹配） #

利用Pandas的merge做内连接，直接匹配所有符合条件的行，底层是向量化操作，效率远高于循环：

result = pd.merge(df_target, query_df, on=["zipcode", "number", "letter"], how="inner")

• 优势：代码简洁，自动保留所有匹配的行，无需手动拼接DataFrame
• 适用场景：单次批量查询，不需要提前构建索引

方法2：多列元组匹配isin #

将查询条件转为元组列表，通过多列组合的元组进行匹配：

# 把查询条件转为(zipcode, number, letter)元组的列表
query_tuples = list(query_df.itertuples(index=False, name=None))

# 生成目标df的多列元组掩码
mask = df_target[["zipcode", "number", "letter"]].apply(tuple, axis=1).isin(query_tuples)

# 过滤得到结果
result = df_target[mask]

• 优势：不需要修改原数据结构，直接生成掩码过滤
• 注意：要保证元组的列顺序和查询条件完全一致

方法3：提前构建复合索引（最高效的重复查询） #

如果需要频繁针对同一日期的df做查询，提前给每个日期的df构建(zipcode, number, letter)复合索引，后续查询可以直接利用索引的高效查找能力：

# 初始化日期字典时，给每个df设置复合索引（只需执行一次）
for date in date_dict:
    date_dict[date] = date_dict[date].set_index(["zipcode", "number", "letter"])

# 查询时，生成查询条件的多索引对象
query_index = pd.MultiIndex.from_frame(query_df)

# 利用索引交集快速匹配
df_target = date_dict["2023-06-01"]
result = df_target.loc[df_target.index.intersection(query_index)].reset_index()

• 优势：索引查找基于哈希表，时间复杂度接近O(1)，数据量越大，优势越明显
• 适用场景：需要多次对同一日期数据进行组合查询的场景

为什么循环效率低？ #

你原来的循环查询属于Python层面的标量操作，每次循环都要遍历整个df做条件判断；而上面的方法都是Pandas底层实现的向量化操作，用C语言执行，避免了Python循环的开销，数据量越大，性能差距越显著。

内容的提问来源于stack exchange，提问作者Hestaron