如何为NLP安装BigBirdTokenizer并解决相关AttributeError报错问题
问题根本原因
- 你安装的
transformers==2.6.0版本过旧:BigBird系列模型及对应的BigBirdTokenizer是Hugging Face在transformers 4.2.0版本才正式纳入官方库的,2.6.0版本的transformers根本不存在这个类,因此触发属性缺失报错。 - 单独安装
BigBirdTokenizer包无效:官方的BigBirdTokenizer是集成在transformers库中的组件,你单独安装的同名第三方包不是官方提供的功能模块,无法被transformers库调用识别。 - 依赖版本冲突:你安装的最新版
bert-extractive-summarizer依赖的transformers版本远高于2.6.0,版本不匹配导致库内部调用不存在的类。
解决步骤
- 先卸载冲突的依赖包
!pip uninstall -y transformers BigBirdTokenizer sentence-transformers
- 安装版本匹配的依赖
!pip install transformers==4.28.1 sentence-transformers==2.2.2 bert-extractive-summarizer==0.10.1 sentencepiece
- 验证修复效果
先运行导入测试,确认无报错后再执行你的业务代码:
from transformers import BigBirdTokenizer from summarizer import Summarizer
补充注意:你的业务代码中打开的文件名为
macineLearning,疑似拼写错误(正确应为machineLearning),如果后续触发文件不存在报错可先检查文件名是否正确。
内容的提问来源于stack exchange,提问作者Katie Melosto
相关产品推荐
相关产品推荐

