运行时修改导入模块代码，PyTorch DataLoader任务为何崩溃？

核心原因 #

• 主进程模块加载特性：主进程启动时，已导入的Python模块会被编译为字节码并加载到内存，后续运行直接使用内存中的代码副本。因此，修改模块文件且无语法错误时，主进程不会重新加载该模块，任务运行不受影响。
• Worker进程的语法校验触发：PyTorch DataLoader在Linux下默认用fork方式启动worker进程，子进程会继承主进程的内存空间和已加载的模块。但如果被修改的模块文件存在语法错误，Python会在子进程启动阶段触发模块文件的语法校验：
  • 系统会检查模块文件的修改时间，当发现文件更新时间晚于已加载模块的编译时间时，会自动读取文件进行语法检查。
  • 此时若文件存在语法错误（比如缺失闭合引号），语法检查失败会直接抛出SyntaxError，导致worker进程崩溃，进而影响整个训练任务。
• 无语法错误时无影响的逻辑：如果修改后的模块文件语法正确，Python完成校验后，并不会替换子进程中已继承的旧版本模块对象（fork的子进程共享父进程的内存模块），因此子进程仍然使用主进程加载的旧代码运行，不会执行新添加的代码（比如print("debugging")），任务正常运行。

解决方案 #

• 训练期间禁止修改依赖代码：如需调试，复制代码副本进行修改测试，不要直接改动正在运行的任务所依赖的.py文件。
• 调整DataLoader worker启动方式：将worker启动方式设置为spawn（通过DataLoader(..., multiprocessing_context='spawn')），但此方式下子进程会重新导入所有模块，无语法错误的修改也会生效，需根据需求权衡。
• 锁定依赖文件权限：训练前将依赖的.py文件设置为只读（如执行chmod 440 your_module.py），防止误修改导致崩溃。

内容的提问来源于stack exchange，提问作者johnmday