使用BertTokenizerFast分词时遇TypeError：enable_truncation不支持direction参数

问题原因 #

该错误源于transformers 4.31.0版本与底层依赖的tokenizers库版本不兼容：transformers 4.31.0在调用enable_truncation时会传入direction参数，但你当前安装的tokenizers版本过低，不支持这个参数。

解决步骤 #

1. 检查当前tokenizers版本
   运行命令确认版本：

   pip show tokenizers
   

   若版本低于0.13.0，则会触发该错误。

2. 升级tokenizers到兼容版本
   先卸载旧版本，再安装适配transformers 4.31.0的版本：

   pip uninstall -y tokenizers
   pip install tokenizers==0.13.3
   

   也可直接升级到最新兼容版本：

   pip install tokenizers --upgrade
   

3. 验证修复
   重新运行分词代码，确认错误消失。

补充说明 #

你通过BertWordPieceTokenizer训练词表后转换为BertTokenizerFast的流程本身没问题，但必须保证transformers和tokenizers版本匹配。transformers 4.31.0对应的tokenizers最低兼容版本为0.13.0，安装时尽量保持两者版本同步，可避免此类参数不兼容问题。

内容的提问来源于stack exchange，提问作者kwc