如何更高效过滤Pandas DataFrame？ts列高频查询优化方案

嘿，这种场景我太熟了——几百万次用布尔索引做区间筛选，每次都要扫整个ts列，性能肯定顶不住！既然你能做任意预处理，那咱们可以从预排序+二分查找或者构建有序索引这几个方向入手，绝对能把查询速度提上去一个量级！

方法一：预排序 + 二分查找（手动实现，极致可控） #

首先咱们先把DataFrame按ts列排序，这一步只需要做一次预处理。排序之后，ts列是有序的，咱们就可以用二分查找快速定位区间的起止位置，然后直接切片取数，不用再扫全表了。

代码示例：

import pandas as pd
import bisect

# 假设这是你的原始DataFrame
df = pd.DataFrame({
    'ts': [1494890360, 1494890381, 1494890386, ...],
    'value': [0.02, 0.01, -1.05, ...]
})

# 预处理：按ts排序（只执行一次！）
df_sorted = df.sort_values('ts').reset_index(drop=True)
# 把ts列转成列表，方便后续二分查找
ts_list = df_sorted['ts'].tolist()

# 定义查询函数
def query_ts_range(start_ts, end_ts):
    # 找第一个 >= start_ts 的位置
    left_pos = bisect.bisect_left(ts_list, start_ts)
    # 找第一个 > end_ts 的位置
    right_pos = bisect.bisect_right(ts_list, end_ts)
    # 直接切片返回结果，O(1)操作
    return df_sorted.iloc[left_pos:right_pos]

为什么高效？排序是O(NlogN)的预处理开销，之后每次查询只需要两次O(logN)的二分查找，再加上切片取数，比原来每次O(N)的布尔索引快太多，几百万次查询的话这个优势会非常明显。

方法二：利用Pandas有序索引（最简洁，内置优化） #

Pandas的索引本身就支持高效的区间查询，只要咱们把ts列设为索引并排序，后续用loc就能直接做区间查询，底层也是用二分查找实现的，代码更简洁，而且Pandas内部做了不少优化。

代码示例：

# 预处理：设置ts为索引并排序（只执行一次！）
df_ts_indexed = df.set_index('ts').sort_index()

# 查询直接用loc的区间语法
def query_with_index(start_ts, end_ts):
    return df_ts_indexed.loc[start_ts:end_ts]

这个方法的好处是代码极简，不需要手动处理二分查找，而且如果你的ts列有重复值，loc会自动包含所有符合条件的行，非常省心。

方法三：用NumPy加速二分查找（极致性能） #

如果还想再榨点性能，可以把ts列转成NumPy数组，用np.searchsorted来做二分查找——NumPy是C实现的，比Python原生的bisect模块速度更快一点。

代码示例：

import numpy as np

# 预处理：排序后转成NumPy数组
df_sorted = df.sort_values('ts').reset_index(drop=True)
ts_np = df_sorted['ts'].to_numpy()

def query_with_numpy(start_ts, end_ts):
    left_pos = np.searchsorted(ts_np, start_ts, side='left')
    right_pos = np.searchsorted(ts_np, end_ts, side='right')
    return df_sorted.iloc[left_pos:right_pos]

这个方法适合对性能要求极高的场景，比如几百万次查询要在最短时间内完成。

注意事项 #

• 如果你的原始DataFrame的ts列本身就是有序的，那可以跳过排序步骤，直接构建索引或者转数组，省掉O(NlogN)的预处理时间。
• 如果需要保留原始DataFrame的索引，排序的时候不要加reset_index(drop=True)，这样查询结果里会保留原来的索引值。
• 这些方法都只需要一次预处理，之后的查询都是O(logN)的时间复杂度，完全能支撑百万级别的查询量。

内容的提问来源于stack exchange，提问作者ustcyue