二维NumPy数组按相邻行列值条件提取行的高效方法咨询

你可以完全跳过Python层面的逐行列表推导，改用NumPy底层C实现的向量化布尔掩码做筛选，在大尺寸数组上的运行速度可以比原列表推导快1~2个数量级，具体实现逻辑如下：

• 直接提取结构化数组中col_4列的全部值，避免反复逐行索引的开销
• 对截断后的col_4序列分别构造两个条件的布尔掩码：
  • 从索引1开始的当前行位置，col_4值为0
  • 对应上述当前行的前序位置（即索引从0开始的截断序列），col_4值为1
• 对两个掩码做逐元素逻辑与，得到满足全部条件的位置索引，直接用该索引切分原数组即可得到筛选结果。

具体实现代码：

# 提取col_4列的完整值序列
col4 = my_data['col_4']
# 构造两个匹配条件的等长布尔数组
curr_row_zero = col4[1:] == 0  # 对应i从1到len(my_data)-1的当前行值
prev_row_one = col4[:-1] == 1  # 对应i从1到len(my_data)-1的行i-1值
# 组合掩码并筛选
filtered_data = my_data[1:][curr_row_zero & prev_row_one]

实现优势说明 #

• 所有值比较、逻辑运算都是NumPy在连续内存上批量完成的，没有Python层的循环调度开销，即使数组达到百万行级别，运行时间也可以控制在毫秒级
• 代码无需手动维护循环索引，可读性更强，不存在列表推导中逐行取数组元素的重复寻址开销
• 最终返回的结果和原列表推导的输出内容完全一致，不会出现结果偏差
• 如果你的数组总行数不足千行，两种实现的性能差异基本可以忽略；当数组规模达到万行及以上时，向量化实现的性能优势会非常明显

内容的提问来源于stack exchange，提问作者bFig8