安装punctuation-restoration时tokenizers编译失败求助

针对Windows 10、Python 3.9.9环境下安装punctuation-restoration时遇到的tokenizers编译问题，可尝试以下步骤：

1. 升级lock_api依赖版本 #

lock_api v0.3.4的const_fn特性已被移除，需强制更新到兼容版本：

• 在项目根目录创建或修改requirements.txt，添加：

  lock_api>=0.4.0
  

• 执行命令升级依赖：

  pip install --upgrade lock_api
  

2. 指定tokenizers兼容版本 #

原项目依赖的tokenizers版本可能较旧，尝试安装适配当前Rust环境的版本：

pip install tokenizers==0.13.3

该版本对Rust新特性兼容性更好，可避免旧依赖的特性冲突问题。

3. 清理缓存后重新安装 #

清理pip和Rust编译缓存，避免残留旧依赖影响：

• 清理pip缓存：

  pip cache purge
  

• 清理Rust编译缓存：

  cargo clean
  

• 重新安装项目依赖：

  pip install -r requirements.txt
  

4. 确认Rust环境配置 #

确保Rust版本为最新稳定版，执行以下命令更新：

rustup update stable

同时检查Windows下的编译工具链是否完整，若缺失可安装Visual Studio Build Tools（勾选"C++开发工具"组件）。

内容的提问来源于stack exchange，提问作者Furkan Gözükara