如何在Pandas中高效实现复杂条件的DataFrame过滤？

一、优先用向量化运算（最快的纯Pandas/Numpy实现） #

逐行循环iterrows速度慢的核心原因是Python循环的开销，换成Numpy的向量化计算能直接把速度提上去几个数量级。以欧氏距离过滤为例：

import numpy as np
import pandas as pd

# 假设df是你的特征DataFrame，vector是目标向量，radius是半径阈值
# 转成Numpy数组，利用向量化运算加速
df_arr = df.to_numpy()
# 按行计算与目标向量的欧氏距离
distances = np.linalg.norm(df_arr - vector, axis=1)
# 布尔索引直接过滤
df_filtered = df[distances <= radius]

这种方式完全避开Python循环，底层由C实现的Numpy运算处理，效率最高。

二、自定义复杂逻辑：用apply替代iterrows #

如果你的过滤逻辑没法直接向量化（比如多分支判断、自定义规则），用df.apply比iterrows高效得多，它是批量处理行数据：

from scipy.spatial.distance import euclidean

def meets_condition(row):
    return euclidean(row.values, vector) <= radius

# axis=1表示按行应用函数，生成布尔掩码
mask = df.apply(meets_condition, axis=1)
df_filtered = df[mask]

注意：apply的速度还是不如纯向量化，所以能转成向量化的逻辑优先用第一种方案。

三、针对最近邻任务：用专用机器学习库 #

既然你最终要实现类似RadiusNearestNeighbors的分类任务，直接用Scikit-learn的优化工具是最优解——它内置了KD-Tree、Ball-Tree等空间索引算法，避免了计算所有行的距离，数据量越大优势越明显：

仅筛选邻居 #

from sklearn.neighbors import NearestNeighbors

# 初始化模型并拟合数据
nn_model = NearestNeighbors(radius=radius)
nn_model.fit(df)

# 查询目标向量的所有近邻（返回距离和索引）
distances, indices = nn_model.radius_neighbors([vector])

# 从原DataFrame中提取符合条件的行
df_filtered = df.iloc[indices[0]]

带分类的RadiusNearestNeighbors #

from sklearn.neighbors import RadiusNeighborsClassifier

# 假设X是特征DataFrame，y是对应的标签列
rnn_clf = RadiusNeighborsClassifier(radius=radius)
rnn_clf.fit(X, y)

# 可以直接做预测，或者获取近邻信息
distances, indices = rnn_clf.radius_neighbors([vector])
df_filtered = X.iloc[indices[0]]

额外优化技巧 #

• 尽量用Numpy数组替代DataFrame行操作，减少Pandas的开销
• 避免在循环中做列表追加或DataFrame拼接，尽量用批量布尔索引
• 超大数据量可以考虑用Dask做并行分块处理

内容的提问来源于stack exchange，提问作者mikerino