Flask接口提前返回响应后multiprocess的close与join调用时机

核心问题说明 #

你不需要在请求处理流程中调用close()和join()，这两个方法的作用是等待任务执行完成、回收进程资源，放在请求生命周期内必然会阻塞响应，不符合你「立即返回结果」的需求。你原写法的最大问题是每次请求都新建一个4进程的池，仅执行1个任务后就弃用，会造成严重的资源泄漏。

方案1：直接使用multiprocessing.Process（更适配你的场景） #

你每次仅需要执行单个异步任务，不需要动用进程池，直接创建独立进程更轻量，系统会自动回收执行完成的进程资源：

import multiprocessing
import traceback
from flask import Flask, Response
import logging

logger = logging.getLogger(__name__)
app = Flask(__name__)

@app.route('/scale-up')
def send_scale_up_request():
    try:
        # 直接创建独立进程运行耗时任务
        p = multiprocessing.Process(target=scale_up_instance, daemon=False)
        p.start()
        logger.info("Executing to restart the instance...")
        return Response("Executing to restart the instance...")
    except Exception as e:
        logger.error("Error occured")
        logger.error(e)
        logger.error(traceback.format_exc(limit=None))
        return Response("Internal error", status=500)

def scale_up_instance():
    # turn on EC2 instance using aws sdk(boto3)
    .....

说明：daemon=False是默认配置，代表子进程不会随Flask主进程退出而被强制中断，任务启动后即使Flask服务重启，已经触发的EC2启动逻辑也会执行到结束，进程运行完成后系统会自动回收所有资源，不需要你手动调用join()。

方案2：保留进程池的优化写法 #

如果你后续有批量执行异步任务的需求要保留进程池，要把进程池实例移到全局，避免每次请求重复创建：

import multiprocessing
import traceback
from flask import Flask, Response
from multiprocessing import Pool
import logging

logger = logging.getLogger(__name__)
app = Flask(__name__)
# 全局只初始化一次进程池
worker_pool = Pool(4)

@app.route('/scale-up')
def send_scale_up_request():
    try:
        worker_pool.apply_async(scale_up_instance)
        logger.info("Executing to restart the instance...")
        return Response("Executing to restart the instance...")
    except Exception as e:
        logger.error("Error occured")
        logger.error(e)
        logger.error(traceback.format_exc(limit=None))
        return Response("Internal error", status=500)

def scale_up_instance():
    # turn on EC2 instance using aws sdk(boto3)
    .....

# 仅在整个Flask应用退出时，再关闭进程池回收资源
@app.teardown_appcontext
def shutdown_pool(*args, **kwargs):
    worker_pool.close()
    worker_pool.join()

说明：全局进程池会在整个应用运行期间复用，只有应用停止时才会执行关闭逻辑，不会影响请求的响应速度。

注意事项 #

• 如果你使用Flask自带的开发服务器，开启debug模式时会启动两个主进程，可能导致异步任务被执行两次，生产环境部署时建议关闭debug模式，使用Gunicorn/uWSGI等WSGI服务器托管。
• 如果后续需要任务重试、执行状态查询等能力，可以引入Celery等专业异步任务队列，当前简单场景下上述两种方案完全够用。

内容的提问来源于stack exchange，提问作者Hyeonjeong Jeong