为什么我代码中的ProcessPoolExecutor执行下载任务时无法正常运行？

问题原因分析 #

1. executor.map惰性计算未触发 #

concurrent.futures.ProcessPoolExecutor的map方法返回的是惰性迭代器，只有当你迭代这个迭代器的时候，任务才会真正提交给子进程执行，你当前的代码没有对返回值做任何处理，所以所有下载任务都没有实际运行，这就是程序运行速度极快但没有文件生成的核心原因。
你换成for循环直接调用方法的时候，相当于主动触发了每一次下载逻辑，所以功能正常。

2. 其他潜在风险 #

• 子进程异常静默：如果不迭代map的返回值，子进程运行过程中抛出的所有异常（比如网络请求失败、文件写入权限问题）都不会抛到主进程，你无法感知到任务出错。
• 实例序列化失败：你传递的是绑定实例的方法self.download_page，多进程场景下需要将整个类实例序列化后传递给子进程，如果你的类包含不可序列化的属性（比如requests会话、打开的文件句柄、网络连接对象等），会序列化失败导致任务终止。
• 工作目录混乱：用os.chdir切换目录的写法在多进程场景下容易出现路径不一致问题，子进程的工作目录继承自主进程创建子进程时的状态，一旦出现逻辑偏差就会把文件写到错误位置。

修复方案 #

第一步：触发map迭代 #

只需要对executor.map的返回值做迭代或者转列表，就能触发所有任务执行，同时还能捕获子进程异常：

with concurrent.futures.ProcessPoolExecutor(max_workers=2) as executor:
    # 转列表触发所有任务执行，也可以用for循环遍历处理返回结果
    list(executor.map(self.download_page, page_list))

第二步（可选，优化稳定性） #

避免传递实例方法

把下载逻辑改成独立函数，直接传递需要的参数，规避实例序列化问题：

# 定义独立的下载函数
def download_page(link, save_path):
    r = requests.get(link)
    r.raise_for_status()
    with open(save_path, 'wb') as f:
        f.write(r.content)

# download_chapter内修改为：
page_list = self.get_pages(chapter.link)
# 提前构造所有参数，避免用os.chdir
params = [(page.link, os.path.join(chapter.name, f"{page.number}.jpg")) for page in page_list]

with concurrent.futures.ProcessPoolExecutor(max_workers=2) as executor:
    list(executor.map(lambda p: download_page(*p), params))

添加入口防护

如果是Windows系统运行，必须在主文件入口添加防护：

if __name__ == '__main__':
    # 你的主逻辑写在这里
    download_chapters()

内容的提问来源于stack exchange，提问作者Eaguilar