Python/NumPy中处理可变长度数组的最佳实践是什么

你当前的实现绝对不是NumPy场景下处理变长结果收集的最佳实践，性能差的核心原因是循环内反复调用np.append触发全量内存拷贝，时间复杂度达到O(n²)，数据量稍大就会出现明显的性能瓶颈。

• np.append不是原地修改操作，每次调用都会创建全新的数组，将原有数据和新元素完整拷贝到新内存块中，随着收集的元素越来越多，单次拷贝的开销会线性增长
• 初始化的(0,0)二维空object数组和实际要存储的一维元素集合维度不匹配，追加过程中NumPy会自动做维度对齐、广播合法性检查，平白增加无意义开销
• 循环内反复执行Python原生对象到NumPy object类型的转换，额外开销远高于原生Python容器的动态追加

1. 首选：原生list动态收集，最终一次性转NumPy数组 #

这是绝大多数场景下性能最高、代码最简洁的方案：Python原生list的append操作是摊销O(1)复杂度，底层实现了动态内存预分配，不会每次追加元素都触发全量拷贝，性能比循环内调用np.append高1~2个数量级。
示例代码：

# data is shape (100,256,256)
results_hist = []  # 用原生列表做动态收集，无循环内拷贝开销
for i in data:
    results = doSomething(i) # 尺寸可变的返回值
    results_hist.append(results)

# 如果后续需要用NumPy做批量计算，循环结束后一次性转换即可
# 注意：若各元素尺寸不一致，转换后得到的是object类型的NumPy数组
results_hist_np = np.array(results_hist, dtype=object)

2. 大内存场景：预收集shape后一次性预分配NumPy数组 #

如果处理的数据量极大，想省掉最终list转NumPy数组的临时内存开销，可以先做一次轻量遍历，拿到所有返回结果的shape信息，计算出目标数组的总尺寸后一次性预分配内存，再二次遍历填充结果。
这个方案适合doSomething本身计算开销很高，多一次遍历的成本可以忽略的场景，整体内存占用是最低的。

3. 特殊场景：固定尺寸结果直接预分配 #

如果后续验证发现doSomething的返回值尺寸其实是固定的（比如之前误以为尺寸会变），直接提前初始化对应shape的NumPy数组，循环中按索引赋值即可，这是性能最高的实现方式，没有任何动态扩容开销。

• 不要在循环中反复调用np.append、np.concatenate、np.vstack这类会生成新数组的API做结果收集
• 不要用np.resize在循环中动态调整NumPy数组大小，底层逻辑和np.append一致，依然会触发反复内存拷贝
• 不要初始化高维空数组存一维的结果集合，会触发不必要的维度检查开销

内容的提问来源于stack exchange，提问作者tonyd629