如何优化Python中使用multiprocessing.pool查找指定数字的代码效率？

先指出原代码的关键问题 #

• 线程池不适合CPU密集型任务：Python的GIL（全局解释器锁）会限制线程并行能力，若你的f(x)是CPU密集型逻辑，ThreadPool无法真正利用多核CPU，效率极低。
• imap_unordered未被迭代：原代码仅调用了pool.imap_unordered(...)但未遍历返回的迭代器，导致任务根本没有被执行。
• 字符转数字的额外开销：通过itertools.product生成字符组合再转整数，比直接遍历数字多了字符串拼接和类型转换的无效成本。

具体优化方案 #

1. 改用进程池处理CPU密集型任务

如果f(x)是CPU密集型逻辑，替换ThreadPool为multiprocessing.Pool，绕过GIL限制，真正发挥多核CPU的并行能力。进程数建议设为CPU核心数（multiprocessing.cpu_count()），避免过多进程导致上下文切换浪费资源。

2. 直接遍历数字而非字符组合

直接用range(100000)生成0到99999的所有数字，省去字符串拼接和类型转换的开销，能减少不少无效计算。

3. 提前过滤无效数字（若f(x)有前置条件）

如果f(x)有明确的排除规则（比如只处理偶数、不含数字5的数），先在生成器里过滤，减少后续需要处理的数字总量。示例：

paramlist = (x for x in range(100000) if x % 2 == 0)  # 仅保留偶数

4. 优化f(x)的核心逻辑

这是提升效率的关键：

• 避免重复计算：把多次用到的中间结果缓存（比如用functools.lru_cache，注意进程池场景下要确保数据可序列化）。
• 用数学运算代替字符串操作：比如获取数字各位时，用取模和整除代替转字符串：

  def get_digits(n):
      digits = []
      temp = n
      while temp > 0:
          digits.append(temp % 10)
          temp = temp // 10
      return digits if n != 0 else [0]
  

• 替换低效操作：比如用x & 1判断奇偶比x % 2 == 0更快，用位运算替代部分算术运算。

5. 确保迭代imap_unordered的结果

imap_unordered返回的是惰性迭代器，必须遍历它才会触发任务执行。如果需要收集符合条件的结果，记得遍历并筛选。

优化后的示例代码 #

#!/usr/bin/env python
import multiprocessing

def function(number):
    # 示例f(x)：判断是否为回文数（用数学方法实现）
    original = number
    reversed_num = 0
    temp = number
    while temp > 0:
        reversed_num = reversed_num * 10 + temp % 10
        temp = temp // 10
    return number if original == reversed_num else None

if __name__ == '__main__':
    # 直接生成0-99999的数字
    paramlist = range(100000)
    
    # 使用CPU核心数对应的进程数
    with multiprocessing.Pool(processes=multiprocessing.cpu_count()) as pool:
        # 迭代结果并筛选符合条件的数字
        for result in pool.imap_unordered(function, paramlist):
            if result is not None:
                print(result)
    
    pool.close()
    pool.join()

内容的提问来源于stack exchange，提问作者Pa Dalton