Python中multiprocessing比单进程更慢？skimage画线加速遇阻

问题原因 #

• 进程启动与内存复制开销过高：Python的multiprocessing创建新进程时，会完整复制父进程的内存空间（包括你代码里1000x1000x3的numpy数组），这个初始化成本远高于单个draw函数的执行时间。启动两个进程的额外开销，加上系统调度的消耗，直接盖过了并行带来的收益，导致总耗时反而更长。
• 任务粒度太小：skimage.draw.line本身是轻量的计算操作，哪怕循环10000次，整体计算量也不足以覆盖进程创建的成本。并行适合处理计算密集、单任务耗时足够长的场景，这种轻量任务用多进程完全是得不偿失。

解决办法 #

1. 优化任务粒度，用进程池复用进程 #

避免重复创建进程，改用multiprocessing.Pool复用已初始化的进程，减少重复开销。同时合并小任务为大批次提交：

import numpy as np
import skimage
from timeit import default_timer as timer
import multiprocessing

def draw_task(args):
    r0, c0, r1, c1 = args
    results = []
    for _ in range(10000):
        rr, cc = skimage.draw.line(r0, c0, r1, c1)
        results.append((rr, cc))
    return results

if __name__=='__main__':
    img = np.zeros([1000, 1000, 3], dtype=np.uint8)
    width = img.shape[1] - 1
    height = img.shape[0] - 1
    centerx = img.shape[1] // 2
    centery = img.shape[0] // 2

    # 单进程基准
    start = timer()
    draw_task((centerx, centery, width, height))
    draw_task((centerx, centery, width, height))
    print(f"单进程耗时: {(timer() - start)*1000:.2f}ms")

    # 进程池版本
    start = timer()
    with multiprocessing.Pool(processes=2) as pool:
        tasks = [
            (centerx, centery, width, height),
            (centerx, centery, width, height)
        ]
        pool.map(draw_task, tasks)
    print(f"进程池耗时: {(timer() - start)*1000:.2f}ms")

2. 缓存重复计算结果 #

如果动画中存在重复绘制同一条线的情况，直接缓存skimage.draw.line的结果，彻底避免重复计算：

# 用字典缓存线条坐标，键为起点终点的元组
line_cache = {}

def draw_cached(r0, c0, r1, c1):
    key = (r0, c0, r1, c1)
    if key not in line_cache:
        line_cache[key] = skimage.draw.line(r0, c0, r1, c1)
    # 循环直接取用缓存结果
    for _ in range(10000):
        rr, cc = line_cache[key]
    return rr, cc

这种优化对重复绘制相同线条的动画效果极其明显，直接把计算成本降到几乎为0。

3. 用Numba加速单线程计算 #

skimage.draw.line是纯Python实现的Bresenham算法，用Numba将其编译为机器码，能大幅提升单线程执行速度，甚至不需要多进程就能满足流畅动画需求：

from numba import njit
import numpy as np

@njit
def numba_line(r0, c0, r1, c1):
    # 手动实现Bresenham算法，用Numba编译加速
    rr, cc = [], []
    dx = abs(c1 - c0)
    dy = abs(r1 - r0)
    x, y = c0, r0
    sx = 1 if c0 < c1 else -1
    sy = 1 if r0 < r1 else -1
    
    if dx > dy:
        err = dx / 2.0
        while x != c1:
            rr.append(y)
            cc.append(x)
            err -= dy
            if err < 0:
                y += sy
                err += dx
            x += sx
    else:
        err = dy / 2.0
        while y != r1:
            rr.append(y)
            cc.append(x)
            err -= dx
            if err < 0:
                x += sx
                err += dy
            y += sy
    rr.append(y)
    cc.append(x)
    return np.array(rr), np.array(cc)

# 替换原draw函数中的skimage.draw.line
def draw(r0, c0, r1, c1):
    for _ in range(10000):
        rr, cc = numba_line(r0, c0, r1, c1)
    return (rr, cc)

内容的提问来源于stack exchange，提问作者Widhold