多进程中高效共享Numpy数组：内存优化与提速方案咨询

1. 解决子进程重复拷贝大数组的核心问题 #

• 使用共享内存机制存储stacked和window，让所有子进程共享同一份数据，避免每个进程都复制完整数组：
  • 可以用multiprocessing.Array配合numpy封装，或者使用numpy.sharedmem（需额外安装）；
  • 改用multiprocessing.Pool+初始化函数，在子进程启动时仅加载对应处理块的局部数据，而非整个数组。
• 避免手动创建100个进程，直接用进程池管理，进程数建议设为CPU核心数（os.cpu_count()），减少上下文切换与内存重复占用。

2. 用Numpy向量化操作替代列表循环 #

当前代码频繁将数组转列表、用循环处理，会产生大量中间内存对象，替换为Numpy向量化操作：

def statagg(queue, startrng, endrng):
    for stepone in range(startrng, endrng):
        for steptwo in range(2606):
            selection = window[stepone, steptwo]
            # 直接用Numpy数组操作，避免转列表
            piece = stacked[selection[:,0], selection[:,1]].ravel()  # 展平数组
            piece = piece * 0.0393701
            piece[np.isnan(piece)] = 0  # 批量替换NaN
            
            param = sci.stats.gamma.fit(piece, floc=0)  # 固定floc=0减少拟合参数
            x = np.linspace(0, piece.max(), 500)
            cdf = sci.stats.gamma.cdf(x, *param)
            
            # 及时释放临时变量内存
            del piece, x, cdf

3. 优化数组数据类型 #

• 检查stacked的数据类型：若精度允许，将float64转为float32，直接减少一半内存占用：

  stacked = stacked.astype(np.float32)
  

• window存储的是索引值，用int32或int16即可（远小于对应类型的最大值）：

  window = window.astype(np.int32)
  

4. 简化Scipy统计计算 #

• 拟合Gamma分布时，利用数据非负的特点，设置floc=0固定位置参数，减少拟合维度，提升速度并降低内存：

  param = sci.stats.gamma.fit(piece, floc=0)
  

• 若不需要完整的CDF数组，可只保留拟合参数（形状、尺度），跳过x和cdf的生成，进一步节省内存。

5. 分块批量处理 #

将100行拆分为更小的批次（比如每10行一批），每个进程处理一批，处理完成后立即释放该批次相关的临时数据，避免内存累积。

内容的提问来源于stack exchange，提问作者TornadoEric