Python multiprocessing.Pool进程数异常疑问及最优配置咨询

先看你提供的代码：

import multiprocessing
import os
def square(n):
    #logger.info("Worker process id for {0}: {1}".format(n, os.getpid()))
    logger.info("Evaluating square of the number {0}".format(n))
    print('process id of {0}: {1}'.format(n,os.getpid()))
    return (n * n)
if __name__ == "__main__":
    # input list
    mylist = [1, 2, 3, 4, 5,6,7,8,9,10]
    # creating a pool object
    p = multiprocessing.Pool(4)
    # map list to target function
    result = p.map(square, mylist)
    print(result)

针对你的三个问题，我来逐一解释：

1. 为何出现进程数异常？ #

这里的核心原因是multiprocessing.Pool的worker进程是按需启动的，且任务完成后会快速退出（或被复用），你看到的是当前活跃的进程数，而非初始化时就会立刻拉起所有指定数量的进程。

• 当设置Pool(4)时，你的任务只有10个元素，且每个任务执行极快（只是简单计算平方），Pool判断仅需启动1个进程就能快速处理完所有任务——毕竟启动进程本身有开销，它会根据任务量和执行效率动态调整活跃进程数，没必要浪费资源启动4个。
• 当设置Pool(8)时，10个任务分配给8个worker后，部分进程处理1个任务、部分处理2个，但因为任务执行太快，不少进程完成任务后立刻退出了，你看到的5个只是刚好在你查看时还活跃的进程，实际可能总共启动过8个，只是部分已经结束了。

另外如果你的服务器是Windows系统，multiprocessing默认用spawn方式创建进程，进程启动速度可能慢于任务完成速度，也会导致你看到的活跃进程数少于设置值。

2. Pool对象能否以大于CPU核心数的数值实例化？ #

完全可以！这个没有硬性限制，要不要这么做取决于你的任务类型：

• CPU密集型任务：比如纯计算类（像你代码里的平方计算），一般建议设置为CPU核心数（或核心数+1），超过核心数的话，进程会频繁切换上下文，反而拖慢整体效率。
• IO密集型任务：比如读写文件、调用API、访问数据库的任务，进程大部分时间都在等待IO操作完成，这时候设置大于核心数的进程数（比如核心数的2-4倍）反而能提升效率——当一部分进程在等IO时，其他进程可以利用CPU资源。

3. 处理百万条记录的列表时，Pool实例化的最优值应为多少？ #

没有绝对标准答案，要结合任务类型和服务器资源来定：

• CPU密集型任务：最优值一般等于你的CPU核心数（或者核心数+1），这样能最大化利用CPU资源，避免上下文切换的额外开销。比如你的服务器是4核心，设置4或5就比较合适。
• IO密集型任务：可以根据IO等待时间调整，一般设置为核心数的2-4倍，甚至更高（比如8-16）。但别设置过大，否则会占用过多内存和系统资源，反而导致性能下降。你可以先测试不同数值（比如4、8、16），看哪个处理速度最快。
  另外还要考虑每个进程处理任务时的内存占用，如果百万条记录每条都比较大，过多进程可能导致内存不足，这时候就要适当降低进程数。

内容的提问来源于stack exchange，提问作者sudhir