LibreTranslate与Huggingface Transformers加载Tokenizer状态字典缺失键报错求助

1. 清理模型缓存 #

这类工具会自动下载模型到HuggingFace缓存目录，root运行导致的权限问题或缓存文件损坏是常见诱因：

• 停止所有相关服务后，删除用户和root的模型缓存：

  rm -rf ~/.cache/huggingface/hub
  sudo rm -rf /root/.cache/huggingface/hub
  

• 重启服务，工具会重新下载完整的模型文件

2. 修复文件权限 #

root执行pip可能导致用户目录下的Python文件权限异常，修复权限：

sudo chown -R $USER:$USER ~/.local
sudo chown -R $USER:$USER ~/.cache

如果使用虚拟环境，同步修复虚拟环境目录权限：

sudo chown -R $USER:$USER /path/to/your/venv

3. 隔离依赖环境 #

不同工具依赖的transformers、tokenizers版本可能冲突，为每个工具创建独立虚拟环境：
以LibreTranslate为例：

python3.10 -m venv lt-venv
source lt-venv/bin/activate
pip install libretranslate==1.3.10

启动服务时确保激活对应虚拟环境，避免交叉依赖冲突

4. 手动指定兼容模型 #

LibreTranslate默认下载的模型可能更新后与旧版本库不兼容，启动时指定模型及存储目录：

libretranslate --host 0.0.0.0 --port 5001 --load-only en,zh --model-dir ./lt-models

确保./lt-models目录权限正确，工具会重新下载适配的模型文件

5. 检查依赖冲突 #

用pip check命令排查依赖包冲突：

pip check

若发现冲突，卸载冲突包或在虚拟环境中隔离运行

内容的提问来源于stack exchange，提问作者Guntram