Python for loop multiprocessing实现未知规模多维矩阵并行计算咨询

完全可以实现并行计算，你的场景属于典型的无依赖易并行任务，天然适配x、y动态未知的情况，不需要提前确定子矩阵总数量。

因为所有z×z子矩阵的计算完全独立，你不需要提前统计x*y的总任务数，只需要用支持动态任务调度的并行模式即可，不同开发环境的常用方案如下：

• 如果你用Python开发：
  直接调用concurrent.futures.ProcessPoolExecutor或者multiprocessing.Pool的imap_unordered方法即可，你可以一边遍历矩阵前两个维度生成子矩阵任务一边提交到任务池，不需要先把所有任务都预先生成，内存占用极低。如果你的子矩阵计算依赖numpy等自带多线程的科学计算库，建议先关闭库本身的全局多线程避免资源抢占，在代码开头加如下配置即可：

  import os
  os.environ['OPENBLAS_NUM_THREADS'] = '1'
  os.environ['MKL_NUM_THREADS'] = '1'
  

• 如果你用C++开发：
  用OpenMP的动态调度指令即可，不需要改原有循环逻辑，只需要在for循环前加一行编译指示符：

  #pragma omp parallel for schedule(dynamic)
  for (int i = 0; i < x; i++) {
    for (int j = 0; j < y; j++) {
      // 原有z×z子矩阵计算逻辑
    }
  }
  

  编译器会自动做动态任务分配，x、y即使是运行时才确定的动态变量也完全支持。
• 如果你用GPU加速：
  直接把每个z×z子矩阵的计算对应到一个CUDA线程块，核函数启动时的网格大小可以在运行时根据x、y的实际值动态计算传入即可，不需要提前硬编码参数。

• 如果单个z×z子矩阵的计算量非常小（比如耗时低于1ms），可以把多个相邻的子矩阵打包成一个任务提交，避免并行调度的开销超过计算本身的收益。
• 拆分任务时尽量使用原矩阵的切片视图，不要复制子矩阵数据，比如numpy的切片、PyTorch的narrow接口都是零拷贝实现，不会额外占用内存。

内容的提问来源于stack exchange，提问作者mmmmo