运行Huggingface transformers PyTorchBenchmark报CUDA初始化及解包错误
Huggingface PyTorchBenchmark运行故障排查方案
故障触发核心原因
- CUDA子进程初始化报错:PyTorch在Linux环境下默认采用
fork模式启动多进程,该模式下子进程会直接拷贝父进程已初始化的CUDA运行时上下文,无法完成子进程侧的CUDA环境重新初始化,因此触发提示中要求多进程场景必须使用spawn启动方式的告警。该问题是benchmark模块内置多进程逻辑未兼容默认fork启动规则导致的,和用户编写的复刻官方示例脚本逻辑无关。 - 值解包ValueError:属于特定版本transformers库的已知代码缺陷,定位到
benchmark_utils.py第674行的解包逻辑时,inference_memory方法在包含CUDA分支的代码路径中,存在返回值数量与调用方预期不匹配的问题——调用方预期拿到2个返回值,但部分代码分支下方法仅返回1个值,最终触发解包失败。
可落地解决步骤
- 前置配置多进程启动方式:在脚本的最顶端(所有torch、transformers导入语句之前)添加强制spawn启动的设置,从根源解决CUDA初始化报错:
import torch torch.multiprocessing.set_start_method('spawn', force=True) - 增加主进程入口保护:spawn启动模式要求所有多进程执行逻辑必须放在
if __name__ == "__main__":的判断块内,否则会出现子进程递归启动的死循环。 - 临时规避版本bug:完成上述配置后,如果仍触发解包报错,可在初始化
PyTorchBenchmarkArguments时显式关闭多进程并行开关,强制单进程运行基准测试,绕开存在分支返回缺陷的多进程执行路径。对应参数补充为multi_process=False。 - 版本根治:将transformers库升级到0.15.0及以上稳定版本,该版本已修复
inference_memory方法不同分支返回值不统一的代码缺陷,可从底层消除解包报错的触发条件。
注意:所有多进程配置必须放在脚本的最高层级,不能放置在函数或者条件判断块内部,否则配置不会对子进程生效。调整后的可正常运行的完整脚本参考:
import torch torch.multiprocessing.set_start_method('spawn', force=True) from transformers import PyTorchBenchmark, PyTorchBenchmarkArguments if __name__ == "__main__": benchmark_args = PyTorchBenchmarkArguments( models=["bert-base-uncased"], batch_sizes=[8], sequence_lengths=[8, 32, 128, 512], save_to_csv=True, log_filename='log', env_info_csv_file='env_info', multi_process=False ) benchmark = PyTorchBenchmark(benchmark_args) benchmark.run()
内容的提问来源于stack exchange,提问作者Claartje Barkhof
相关产品推荐
相关产品推荐

