为何multiprocessing.Pool不允许设置processes=0？能否实现单进程运行？

我想在并行化脚本中保留单CPU处理能力，但目前不得不重复编写结果迭代和后处理的代码，示例代码如下：

#!/usr/bin/env python3
import multiprocessing

# 命令行解析参数：
num_cpus = 1
input_filename = 'file.txt'

def worker(line):
    '''对一行数据进行处理'''
    # 模拟需要占用CPU时间的处理操作
    for x in range(1000000):
        line.split()
    return line.split()

def data_iter(filename):
    '''遍历数据记录'''
    with open(filename) as fh:
        for line in fh:
            yield line

if __name__ == '__main__':
    if (num_cpus >= 2):
        with multiprocessing.Pool( processes = num_cpus - 1 ) as pool:
            for result in pool.imap(worker, data_iter(input_filename)):
                # 模拟后处理操作（副本1）
                print(' '.join(result))
    else:
        for line in data_iter(input_filename):
            result = worker(line)
            # 模拟后处理操作（副本2）
            print(' '.join(result))

注意：你可以使用任意多行文本文件来测试这段代码。

核心疑问 #

multiprocessing.Pool不允许设置processes=0是否存在合理原因？processes=0难道不应该表示不启动任何额外进程，仅使用主进程完成处理吗？

附言 #

我想到了一个可能的技术原因：

Pool中的工作进程无法修改主进程的环境，但如果不启动新进程直接运行工作函数，情况就并非如此。

解决重复代码的方案 #

可以把后处理逻辑抽成独立函数，同时用通用生成器封装串行/并行执行逻辑，彻底避免代码重复：

#!/usr/bin/env python3
import multiprocessing

num_cpus = 1
input_filename = 'file.txt'

def worker(line):
    '''对一行数据进行处理'''
    for x in range(1000000):
        line.split()
    return line.split()

def data_iter(filename):
    '''遍历数据记录'''
    with open(filename) as fh:
        for line in fh:
            yield line

def post_process(result):
    '''统一后处理逻辑'''
    print(' '.join(result))

def get_results(num_cpus, worker_func, data_source):
    '''兼容串行/并行的结果生成器'''
    if num_cpus >= 2:
        with multiprocessing.Pool(processes=num_cpus-1) as pool:
            yield from pool.imap(worker_func, data_source)
    else:
        for item in data_source:
            yield worker_func(item)

if __name__ == '__main__':
    for result in get_results(num_cpus, worker, data_iter(input_filename)):
        post_process(result)

关于processes=0的原因解析 #

1. 语义定位冲突：Pool的核心是管理工作进程池，processes参数设计为指定池内进程数量，0代表没有进程，违背了Pool的存在意义。官方文档明确要求该参数为正整数，或默认取CPU核心数。
2. 行为一致性问题：正如你推测的，子进程拥有独立内存空间，无法修改主进程的全局状态、环境变量；但直接在主进程执行worker函数则可以修改这些内容。如果允许processes=0，会导致Pool在不同参数下的行为逻辑产生根本性差异，极易引发隐蔽bug。
3. 实现成本考量：为processes=0单独添加串行分支会增加Pool的代码复杂度，而官方认为这种场景完全可以通过独立的串行逻辑实现，无需让Pool承担额外职责。

内容的提问来源于stack exchange，提问作者Fravadona