Jupyter中运行PyTorch代码遇__spec__缺失及DataLoader报错的咨询

报错1：module '__main__' has no attribute '__spec__' #

报错成因 #

• 该问题不属于PyTorch环境故障，是Jupyter交互式运行模式与普通Python脚本运行模式的固有差异导致：
  • 标准Python脚本运行时，__main__模块会被初始化完整的模块属性，其中就包含__spec__，用于多进程逻辑定位主入口文件；
  • Jupyter环境下所有单元格代码直接在__main__命名空间执行，不会走标准模块的初始化流程，因此不存在__spec__属性；
  • 当代码触发多进程调用（比如DataLoader设置num_workers>0开启多进程加载），多进程启动逻辑会尝试读取主模块的__spec__来加载入口代码，找不到属性就会直接抛出该错误。

解决方法 #

• 临时补全模块属性：在Notebook的第一个运行单元格最前面加上两行代码，给主模块赋值__spec__为None即可：

  import sys
  __spec__ = None
  

• 适配Windows环境：Windows系统的多进程启动逻辑对模块属性要求更严格，如果补全属性后仍报错，可以直接把DataLoader的num_workers参数设为0，关闭数据加载的多进程逻辑，从根源上绕开模块属性校验流程。

报错2：DataLoader工作进程抛出found <class 'NoneType'> #

报错成因 #

• 报错栈显示错误发生在DataLoader的默认collate函数的校验环节：默认collate函数会把单样本读取结果堆叠成批次，要求样本的所有返回值必须是张量、numpy数组、数值、字典、列表这几类可批量处理的类型，不允许存在None值。
• 拆分单元格运行时触发该问题，通常有两个诱因：
  1. 自定义VehicleDataset类的__getitem__方法存在缺陷，遇到加载失败的坏样本时直接返回None，没有做异常兜底；
  2. 拆分单元格运行时，VehicleDataset的类定义、数据路径配置等代码没有完整加载，导致数据文件读取失败，最终返回None。

排查与解决步骤 #

• 第一步定位None的来源：单独运行Dataset的读取逻辑，遍历所有索引检查返回值：

  test_dataset = VehicleDataset(mode='train')
  for idx in range(len(test_dataset)):
      res = test_dataset[idx]
      # 检查整个样本是不是None
      if res is None:
          print(f"索引{idx}整体返回None")
          break
      inp, lab = res
      # 检查样本的输入、标签是不是None
      if inp is None or lab is None:
          print(f"索引{idx}的输入/标签为None")
          break
  

• 根据定位结果修复：
  • 如果是坏样本导致的None：在__getitem__方法里增加异常捕获逻辑，遇到读取失败的样本时自动替换为相邻的有效样本，不要返回None；
  • 如果是单元格拆分导致的定义不全：把VehicleDataset类定义、全局路径配置等依赖代码放在同一个单元格里完整运行后，再初始化Dataset和DataLoader，不要把类定义拆到多个分散的单元格。
• 临时规避方案：如果暂时无法定位所有None来源，可以自定义collate函数过滤掉批次里的None值，避免触发校验报错：

  def none_filter_collate(batch):
      # 过滤所有None值
      valid_batch = [item for item in batch if item is not None]
      return torch.utils.data.dataloader.default_collate(valid_batch)
  
  # 初始化DataLoader时传入自定义collate函数
  train_loader = DataLoader(dataset=train_dataset, batch_size=20, shuffle=False, num_workers=4, collate_fn=none_filter_collate)
  

  注意：该方法仅用于临时救急，长期需要定位所有None的来源，否则会导致实际训练的批次大小不稳定、有效样本缺失，影响模型训练效果。

内容的提问来源于stack exchange，提问作者ELI