Flask使用multiprocessing时wtforms.form.Meta类pickle报错如何解决

问题原因 #

1. 直接报错的根因 #

你遇到的_pickle.PicklingError报错是Python多进程机制的特性导致的：multiprocessing在跨进程传递参数时，会自动对参数做序列化（pickle）处理，而你传递的form是WTForms的表单实例，其内部携带的Meta类属性本身不支持序列化，直接当做进程入参传递就会抛出该错误。

2. 架构设计层面的问题 #

除了序列化报错外，你当前的实现完全没有达到「计算任务不阻塞应用运行、用户点击后直接跳转」的需求：

• 你启动子进程后立刻调用queue.get()，该方法是阻塞等待子进程返回结果，整个请求还是会卡到耗时任务跑完才会给用户返回响应，和单进程逻辑没有任何区别
• 子进程内直接依赖请求上下文（比如get_file_from_form里调用了request.form），子进程脱离了请求上下文后运行会直接报错
• 数据库会话、GCP存储客户端这类资源跨进程传递/使用也会出现连接异常、状态不一致的问题
• 直接在Web进程内启动子进程处理数分钟级的长任务非常不稳定，Web服务重启、负载均衡实例销毁都会直接中断正在运行的任务，高并发场景下还会启动大量子进程耗尽服务器资源。

修复方案 #

第一步：解决序列化报错 #

不要把整个Form对象传给子进程，在视图层提前把Form里需要用到的参数全部提取出来，只传递字符串、文件对象、数值这类Python基础类型给子进程即可：

# 视图层修改示例
@app.route('/<int:page_num>', methods=['GET', 'POST'])
def upload_file(page_num=1):
    form = CreateXslxForm()
    traffic_data = get_page_of_traffic_data(page_num)
    if form.validate_on_submit():
        # 提前提取所有需要的参数，不要传递form对象
        input_file = form.input_file.data
        custom_filename = request.form.get("filename", "")
        origin_filename = form.input_file.data.filename
        # 启动进程时只传基础类型参数
        p = Process(target=main_func, args=(input_file, custom_filename, origin_filename))
        p.daemon = True
        p.start()
        # 不要等待进程返回，直接给用户跳转
        return render_template('task_submitted.html')
    return render_template(constants.GeneralConstants.LANDING_PAGE, title='URL Comparison', form=form, traffic_data=traffic_data)

第二步：调整异步实现方案 #

对于数分钟级的长耗时任务，不要直接用multiprocessing在Web进程内启动子进程，改用成熟的异步任务队列实现，比如Celery + Redis/RabbitMQ：把耗时任务投递到队列后直接返回用户响应，后台独立的Worker进程执行任务，执行完成后自动触发写库、发邮件的逻辑即可，稳定性和并发能力都有保障。

第三步：解耦任务和Web请求上下文 #

把所有需要依赖Web请求上下文的操作全部放到视图层完成，子进程/Worker进程只处理纯计算、上传GCP、写库、发邮件的逻辑，不要依赖任何请求上下文对象。

内容的提问来源于stack exchange，提问作者globus1988