Numpy超大数组30分钟滚动区间统计查询性能优化咨询

绝对有办法大幅提升查询速度！针对这种大规模时间序列的重复区间查询，排序+二分查找+前缀统计预处理是最直接高效的思路，能把每次查询的时间复杂度从O(N)降到O(logN)，下面给你一步步拆解：

第一步：先对数组按Timestamp排序（核心优化） #

你现在用np.where全表扫描，2亿行每次都要遍历一遍，次数多了肯定慢。先把整个数组按timestamp列排序，这样后续可以用二分查找快速定位区间边界：

# 按第一列（timestamp）升序排序整个数组，保持行的对应关系
arr_sorted = arr[arr[:, 0].argsort()]

如果不想修改原数组，也可以单独保存排序后的索引，这样原数组不动，只是用索引来取数：

# 提取timestamp列并获取排序后的索引
ts_col = arr[:, 0]
sorted_indices = ts_col.argsort()
sorted_ts = ts_col[sorted_indices]
# 后续查询用sorted_ts找边界，再通过sorted_indices取原数组的行

第二步：用二分查找快速定位区间边界 #

排序后，用np.searchsorted替代np.where，它能在有序数组里快速找到插入位置，也就是我们需要的区间左右边界。注意要和你原有的查询条件(arr[:,0] > ts - 1800) & (arr[:,0] < ts + 1800)匹配：

ts = 1620000000  # 示例查询时间
window_left = ts - 1800
window_right = ts + 1800

# 左边界：第一个大于window_left的索引（对应arr[:,0] > window_left）
left_idx = np.searchsorted(arr_sorted[:, 0], window_left, side='right')
# 右边界：第一个大于等于window_right的索引（对应arr[:,0] < window_right）
right_idx = np.searchsorted(arr_sorted[:, 0], window_right, side='left')

# 直接切片获取符合条件的子集，不用全表扫描！
subset = arr_sorted[left_idx:right_idx]

第三步：批量查询的向量化处理 #

如果有多个查询时间点，不用循环一个个查，np.searchsorted支持传入数组，一次性算出所有边界：

# 示例批量查询时间数组
ts_list = np.array([1620000000, 1620003600, 1620007200])
window_lefts = ts_list - 1800
window_rights = ts_list + 1800

# 一次性计算所有左、右边界
left_indices = np.searchsorted(arr_sorted[:, 0], window_lefts, side='right')
right_indices = np.searchsorted(arr_sorted[:, 0], window_rights, side='left')

# 遍历每个查询的边界，计算统计量（或者用向量化方式处理）
for idx in range(len(ts_list)):
    l, r = left_indices[idx], right_indices[idx]
    subset = arr_sorted[l:r]
    # 计算你需要的统计量，比如均值、求和、计数等

第四步：预处理前缀统计量，进一步加速统计计算 #

如果你的统计需求是求和、均值这类聚合操作，可以提前预处理前缀和数组，这样不用遍历子集就能直接算出结果：

# 假设你要统计第二列的数值，先计算前缀和
prefix_sum = np.cumsum(arr_sorted[:, 1])
# 也可以预处理前缀计数（其实就是索引本身，count = r - l）

# 单查询统计示例
count = right_idx - left_idx
total = prefix_sum[right_idx] - prefix_sum[left_idx] if count > 0 else 0
mean = total / count if count > 0 else np.nan

# 批量统计的向量化写法
counts = right_indices - left_indices
totals = np.where(counts > 0, prefix_sum[right_indices] - prefix_sum[left_indices], 0)
means = np.where(counts > 0, totals / counts, np.nan)

额外提示：如果能转Pandas的话更省心 #

如果你的场景允许用Pandas，那可以把数组转成DataFrame，然后用排序后的DatetimeIndex做区间查询，语法更简洁，底层也是类似的二分查找逻辑：

import pandas as pd

df = pd.DataFrame(arr, columns=['timestamp', 'value'])
df = df.set_index('timestamp').sort_index()

# 单查询
subset = df.loc[window_left:window_right]
# 批量查询可以用pd.Interval或者循环处理

这种优化后，哪怕查询上百次、上千次，速度都会比原来的全表扫描快几个数量级，毕竟2亿行的O(N)和O(logN)差距太大了！

内容的提问来源于stack exchange，提问作者hangc