从源码编译Python 3.6:如何让测试使用多线程?
如何让Python 3.6编译后的测试环节多线程执行
太懂这种感受了——编译开8线程嗖嗖快,结果测试单线程慢悠悠拖后腿,简直急死人。其实Python自带的测试套件是支持并行执行的,给你两个靠谱的解决办法:
方法1:通过make test直接指定并行数
Python的Makefile预留了传递测试参数的入口,你可以直接给make test加上-j参数,或者通过TESTOPTS明确指定:
# 直接加-j参数,和编译时的用法一致 make test -j8 # 或者用TESTOPTS传递,效果相同 make test TESTOPTS="-j8"
这个操作最省心,直接复用你编译时的线程数就行,测试套件会自动把能并行的测试用例分配到多个线程里跑。
方法2:手动调用测试模块并行执行
如果make test的参数传递没生效,你可以直接用编译好的Python二进制文件手动启动测试,同样用-j指定线程数:
# 进入编译后的源码目录,找到生成的python二进制文件 ./python -m test -j8
这种方式更灵活,还能额外加参数,比如-x让测试遇到第一个失败就停止,或者跳过某个特定的耗时测试(如果不需要跑全量的话)。
小提醒
- 极少数测试用例可能因为资源竞争(比如文件读写、网络端口)在并行时失败,如果遇到这种情况,单独重新跑那个测试用例就行,不影响整体结果。
- 线程数别超过你机器的实际物理核心数太多,不然反而会因为上下文切换变慢,得不偿失。
内容的提问来源于stack exchange,提问作者daniel451
相关产品推荐
相关产品推荐

