安装RankCSE非官方代码时tokenizers编译失败求助

1. 降级tokenizers版本 #

问题大概率是当前requirements里指定的tokenizers版本依赖的crossbeam-deque与你的Cargo环境存在兼容性冲突。先手动安装低版本tokenizers：

pip install tokenizers==0.13.3

完成后再执行pip install -r requirements.txt，让pip跳过已安装的tokenizers包。

2. 手动处理crossbeam-deque依赖 #

单独安装指定版本的crossbeam-deque，再重新构建tokenizers：

cargo install crossbeam-deque --version 0.8.5

如果安装时仍报错，先更新Cargo索引：

cargo update

之后再执行pip安装命令。

3. 强制Cargo使用2021 edition #

虽然你的Cargo版本支持2021 edition，但可能存在局部配置覆盖。可以临时设置环境变量强制指定：

export CARGO_DEFAULT_EDITION=2021

Windows环境执行：

set CARGO_DEFAULT_EDITION=2021

设置完成后重新运行pip install -r requirements.txt。

4. 清理缓存后重装 #

清理pip和Cargo的缓存，避免残留旧依赖干扰：

pip cache purge
cargo clean

之后重新创建虚拟环境并安装依赖：

python -m venv venv
source venv/bin/activate  # Windows系统用 venv\Scripts\activate
pip install -r requirements.txt

内容的提问来源于stack exchange，提问作者FallenTruck