Django 1.11并行测试中pickle失败问题排查求助

这种并行测试里的pickle错误真的很让人头疼，尤其是堆栈信息没给出明确出错位置的时候。结合你已经安装了tblib的情况，我给你几个逐步定位问题的实用方法：

1. 先确认问题仅存在于并行模式 #

首先关掉--parallel参数跑完整测试，验证单进程模式下是否正常：

manage.py test mainfolder -v2

如果单进程跑完全没问题，那可以确定问题出在并行测试的进程间序列化（pickle）环节，接下来就针对这个方向排查。

2. 逐步缩小测试范围，定位到具体测试 #

因为测试跑了2分钟才出错，说明前面的测试都正常，问题出在后面的某个测试里。你可以用二分法快速缩小范围：

• 先按app划分，只跑前半部分：manage.py test mainfolder.app_a --parallel -v2 --keepdb（--keepdb能避免每次重建数据库，大幅加快测试速度）
• 如果这部分没问题，再跑后半部分的app；如果出错，就继续缩小到该app下的某个测试模块，直到找到触发错误的具体测试用例/方法。

3. 给Pickle加调试钩子，捕获序列化失败的对象 #

默认的堆栈没告诉你哪个对象序列化失败，我们可以给pickle过程加个调试钩子，在出错时打印关键信息。在你的manage.py最开头加入这段代码：

import pickle
import traceback
import multiprocessing
from multiprocessing.reduction import ForkingPickler

# 替换ForkingPickler的dump方法，添加调试信息
original_dump = ForkingPickler.dump
def debug_pickle_dump(obj, file, protocol=None):
    try:
        original_dump(obj, file, protocol)
    except Exception as e:
        print("\n=== PICKLE ERROR DEBUG INFO ===")
        print(f"Failed to serialize object: {obj}")
        print(f"Object type: {type(obj).__module__}.{type(obj).__name__}")
        print("Traceback:")
        traceback.print_exc()
        print("===============================\n")
        raise

ForkingPickler.dump = debug_pickle_dump

# 显式启用tblib的异常序列化支持
import tblib.pickling_support
tblib.pickling_support.install()

重新跑测试后，当pickle出错时，控制台会打印出导致失败的对象类型和具体内容，这样你就能精准定位到是测试用例里的哪个对象出了问题。

4. 检查测试用例中的不可Pickle对象 #

拿到出错的对象类型后，重点检查对应的测试用例：

• 有没有在TestCase的self上保存lambda函数、未实现__getstate__/__setstate__的自定义类？
• 有没有在setUp()里创建数据库连接、文件句柄、网络socket这类无法序列化的资源？
• 有没有使用第三方库的对象，而这些对象本身不支持pickle？比如某些ORM扩展、缓存客户端的实例？

5. 确保tblib正确生效 #

有时候tblib需要显式配置才能让跨进程的异常堆栈更完整。除了上面代码里的安装步骤，你也可以试试在运行测试前设置环境变量，确保tblib被正确加载：

export PYTHONPATH=$(pip show tblib | grep Location | awk '{print $2}'):$PYTHONPATH

这可能会让原始的异常堆栈显示出来，直接告诉你错误发生在哪个测试方法里。

内容的提问来源于stack exchange，提问作者djangonaut