调用AutoTokenizer加载google/byt5-base报错及transformer升级网络问题求助

问题场景 #

• 执行代码：

tokenizer = AutoTokenizer.from_pretrained('google/byt5-base')

• 触发报错：

OSError: Can't load config for 'google/byt5-base'. Make sure that:

• 'google/byt5-base'是Hugging Face模型列表中正确的模型标识符
• 或'google/byt5-base'是包含config.json文件的目录的正确路径

补充问题 #

升级transformers库时出现连接重试警告：

WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('

已核对模型仓库路径，但问题仍未解决。

解决方案 #

1. 修复网络连接问题 #

• 重试警告说明网络无法正常访问Hugging Face模型仓库，若在受限网络环境下，可配置代理：

  # 根据实际代理地址修改
  export HTTP_PROXY=http://your-proxy-address:port
  export HTTPS_PROXY=http://your-proxy-address:port
  

• 或者手动下载模型核心文件（config.json、tokenizer.json等）到本地目录，修改代码加载本地路径：

  tokenizer = AutoTokenizer.from_pretrained('./local-byt5-base-directory')
  

2. 安装兼容版本的transformers #

• 卸载现有版本后，安装经验证支持byt5-base的版本：

  pip uninstall -y transformers
  pip install transformers==4.30.0
  

3. 清理Hugging Face缓存 #

• 缓存文件损坏可能导致加载失败，执行以下命令清理后重新尝试：

  # Linux/macOS
  rm -rf ~/.cache/huggingface/hub
  # Windows
  rmdir /s %USERPROFILE%\.cache\huggingface\hub
  

内容的提问来源于stack exchange，提问作者iamabhaykmr