EfficientViT项目中导入torch.utils.data.graph_settings报错的解决咨询

问题分析 #

torch.utils.data.graph_settings是PyTorch DataPipe模块的内部非公开API，仅存在于PyTorch的nightly开发版或特定分支中，未被纳入稳定版的官方文档与发布包，因此常规稳定版PyTorch无法识别该模块。

解决步骤 #

• 替换为稳定版兼容API
  若仅需实现数据分片功能，可使用PyTorch稳定版支持的公开接口替代：

  • 若使用DataPipe，直接调用其内置的sharding_filter()方法：

    datapipe = datapipe.sharding_filter()
    

  • 或通过DataLoader的num_workers参数自动处理分片：

    from torch.utils.data import DataLoader
    dataloader = DataLoader(datapipe, num_workers=total_workers)
    

• 安装PyTorch开发版
  若必须依赖该内部API，可安装PyTorch的nightly开发版本：

  pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118
  

  注意：nightly版本存在不稳定风险，不建议用于生产环境

• 修改项目代码
  直接注释或删除调用torch.utils.data.graph_settings.apply_sharding的代码，查看EfficientViT项目的最新提交是否已修复该依赖问题，或使用项目中其他兼容的数据处理逻辑。

内容的提问来源于stack exchange，提问作者wsdb