排序DataFrame的weight列能否提升掩码过滤效率？如何利用该优势？

预先排序是否能提升过滤效率？ #

得分过滤类型来看：

• 对于范围过滤（比如weight <= 123）：排序确实能提升效率。未排序时，pandas需要遍历整个列生成布尔掩码，属于O(n)时间复杂度；排序后可以用二分查找快速定位边界，把时间复杂度降到O(log n)，数据量越大，效率差异越明显。
• 对于等值过滤（比如weight == 123）：如果目标值出现次数极少，排序带来的提升有限；但如果目标值有大量重复项，排序后这些值会连续排列，我们可以快速定位到连续块的起止位置，避免全表扫描，效率会显著提高。

但要注意：排序本身是O(n log n)的操作，如果你的过滤操作次数很少，排序的开销可能比多次全表过滤的开销还大，反而不划算。只有当你需要多次执行过滤操作，或者单次过滤的数据量极大时，预先排序才值得。

如何利用已排序的特性优化过滤？ #

不用再生成布尔掩码，而是用pandas.Series.searchsorted()方法定位边界，通过切片直接获取结果，这种方式比掩码过滤快很多：

1. 范围过滤（比如weight <= 123） #

# 确保weight列已排序
animals.sort_values(by='weight', inplace=True)
# 找到第一个大于123的位置
idx = animals['weight'].searchsorted(123, side='right')
# 切片获取所有weight<=123的数据
animals_filtered = animals.iloc[:idx]

2. 等值过滤（比如weight == 123） #

# 找到第一个等于123的位置（左边界）
left_idx = animals['weight'].searchsorted(123, side='left')
# 找到第一个大于123的位置（右边界）
right_idx = animals['weight'].searchsorted(123, side='right')
# 切片获取所有weight==123的数据
animals_filtered = animals.iloc[left_idx:right_idx]

注意事项 #

• 必须保证weight列是完全排序的，否则searchsorted的结果会出错；
• iloc是按位置索引，不受重复索引影响；
• 如果需要保留原DataFrame的顺序，可以先复制一份再排序，过滤后按原索引恢复顺序，但这样会增加开销，需要权衡。

内容的提问来源于stack exchange，提问作者Mophotla