Windows11 x64+Python3.11安装transformers时tokenizers编译失败如何解决？
2026-8-13
解决Windows 11 x64 + Python 3.11下安装transformers的编译报错问题
1. 处理conda命令不可用的问题（可选）
如果你倾向用conda安装：
- 未安装Anaconda/Miniconda：下载对应Windows x64版本安装，勾选「Add Anaconda to my PATH environment variable」选项。
- 已安装：手动将conda的Scripts目录（通常是
C:\Users\[你的用户名]\anaconda3\Scripts或C:\Users\[你的用户名]\miniconda3\Scripts）添加到系统环境变量PATH中，重启终端后重试conda install -c huggingface transformers。
2. 解决ERROR: Failed building wheel for tokenizers核心问题
报错原因是编译tokenizers依赖Rust编译器，提供两种解决方案：
方案一：安装Rust编译器后重新编译
- 打开命令提示符，执行
winget install Rustlang.Rustup（需预装Windows Package Manager）；或下载rustup-init.exe并按默认配置完成安装。 - 重启所有终端窗口，让Rust的环境变量生效。
- 重新执行
pip install transformers，pip会自动完成tokenizers的编译安装。
方案二：直接安装预编译的tokenizers包（无需编译）
- 找到适配Python 3.11、Windows x64的tokenizers预编译
.whl文件（版本需与transformers兼容）。 - 执行pip安装该文件，示例命令：
pip install tokenizers-0.15.1-cp311-none-win_amd64.whl - 安装完成后，再执行
pip install transformers。
3. 额外优化建议
- 先升级pip到最新版本：
pip install --upgrade pip - 若仍有问题，创建全新虚拟环境尝试：
python -m venv transformers_env transformers_env\Scripts\activate pip install --upgrade pip pip install transformers
内容的提问来源于stack exchange，提问作者Đỗ Như Vỹ
相关产品推荐
相关产品推荐
