如何高效统计序列损失次数？NumPy百万次运行代码优化求助

问题说明 #

给定数组（如[0, 0, 0, 1, 2, -1, -2, 5, 8, 4, 5.5]），需统计元素小于前一个元素的次数，规则如下：

• 开头连续的0视为缺失数据，忽略不计
• 第一个非0元素出现后，后续所有数字（包括0）均为有效数据
• 最终结果为统计次数除以有效数据的总数量，示例结果为3/8=0.375

当前实现因使用np.roll创建数组副本，且分母计算逻辑存在漏洞（有效数据含0时会错误排除），无法满足百万次运行的性能需求。

优化实现 #

核心思路 #

1. 快速定位第一个有效数据（非0）的索引，避免遍历整个数组
2. 直接使用原数组的切片视图进行比较，无需创建额外数组副本
3. 正确计算有效数据的总数量（从第一个有效索引到数组末尾的元素个数）

优化代码 #

import numpy as np

v = np.array([0, 0, 0, 1, 2, -1, -2, 5, 8, 4, 5.5])

# 找到第一个非0元素的索引
first_valid_idx = np.argmax(v != 0)

# 统计符合条件的次数：有效部分中当前元素小于前一个的次数
loss_count = np.sum(v[first_valid_idx+1:] < v[first_valid_idx:-1])

# 有效数据的总数量
valid_total = len(v) - first_valid_idx

# 计算损失频率
loss_freq = loss_count / valid_total

print(loss_freq)  # 输出：0.375

性能与正确性说明 #

• 性能提升：避免了np.roll的数组复制操作，切片视图仅引用原数组数据，内存占用更低，百万次运行速度显著提升
• 正确性修复：有效数据包含0时，len(v) - first_valid_idx会正确统计所有有效元素，不会像原代码那样错误排除有效0

内容的提问来源于stack exchange，提问作者tibibou