使用datasets模块加载数据集遇NotImplementedError的解决办法

• 强制跳过本地缓存拉取远程数据
  调用load_dataset时加上use_local_cache=False参数，代码示例：

  from datasets import load_dataset
  dataset = load_dataset("jamescalam/agent-conversations-retrieval-tool", use_local_cache=False)
  

  这个参数会强制从Hugging Face Hub拉取全新数据，完全绕开本地缓存文件。

• 清理旧缓存文件
  找到datasets默认缓存目录~/.cache/huggingface/datasets，删掉里面和jamescalam___agent-conversations-retrieval-tool相关的文件夹，之后重新运行加载代码就行。

• 更新datasets到最新版
  旧版本可能存在缓存判断的bug，执行下面的命令升级：

  pip install --upgrade datasets
  

  升级后再加载数据集，大概率能解决问题。

• 临时用内存缓存替代本地文件缓存
  如果上面的方法都没效果，可以试试把缓存存在内存里，避免LocalFileSystem的限制：

  from datasets import load_dataset
  import tempfile
  
  with tempfile.TemporaryDirectory() as tmpdir:
      dataset = load_dataset("jamescalam/agent-conversations-retrieval-tool", cache_dir=tmpdir)
  

内容的提问来源于stack exchange，提问作者Ari