Google Colab中torchdata.datapipes导入报错：sharding_filter已占用的解决咨询

可能原因 #

• 版本冲突：Colab默认预装的PyTorch已经集成了部分torchdata核心组件，手动安装独立的torchdata库后，两个来源的sharding_filter函数被重复注册，触发命名冲突。
• 残留文件干扰：多次安装不同版本的torchdata，导致环境中残留旧版本库文件，新旧组件互相干扰。

解决方案 #

方案1：卸载重装匹配版本的torchdata #

1. 完全卸载现有torchdata：

!pip uninstall -y torchdata

2. 查看当前Colab的PyTorch版本，确认兼容的torchdata版本：

import torch
print(torch.__version__)

3. 安装与PyTorch版本匹配的torchdata（例如PyTorch 2.0对应torchdata 0.6.x，可按需调整版本号）：

!pip install torchdata==0.6.1

方案2：使用PyTorch内置的datapipes #

Colab预装的PyTorch已经集成了常用datapipes功能，无需额外安装torchdata，直接从内置路径导入即可：

from torch.utils.data.datapipes.iter import StreamReader, FileOpener, FileLister

方案3：重启运行时 #

完成卸载或安装操作后，必须重启Colab运行时（点击顶部菜单栏「Runtime」→「Restart runtime」），确保环境加载最新库文件，避免缓存残留。

内容的提问来源于stack exchange，提问作者SSK