adapter-transformers与tokenizers版本冲突:查询适配tokenizers==0.9.2的版本
适配tokenizers==0.9.2的adapter-transformers版本查找方案
问题背景
安装adapter-transformers=3.1.0时触发依赖冲突:
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
transformers 3.4.0 requires tokenizers==0.9.2, but you have tokenizers 0.13.2 which is incompatible.
具体解决步骤
1. 明确兼容逻辑
tokenizers==0.9.2是transformers 3.4.0的强制依赖,因此你需要寻找依赖**transformers 3.x系列(版本<4.0.0)**的adapter-transformers版本,这类版本集中在adapter-transformers 2.x及更早的版本区间。
2. 验证版本兼容性
- 先列出adapter-transformers所有可用历史版本:
pip index versions adapter-transformers - 针对候选旧版本,查看其依赖声明:
检查输出中pip show adapter-transformers==<目标版本号>Requires字段的transformers版本范围,只要包含>=3.0.0,<4.0.0,就能兼容transformers 3.4.0和tokenizers==0.9.2。
3. 直接安装经测试的兼容版本
adapter-transformers 2.2.0明确依赖transformers>=3.0.0,<4.0.0,可直接安装:
pip install adapter-transformers==2.2.0
如果仍有冲突,可一次性指定所有兼容包版本避免冲突:
pip install adapter-transformers==2.2.0 transformers==3.4.0 tokenizers==0.9.2
内容的提问来源于stack exchange,提问作者Indunil Udayangana
相关产品推荐
相关产品推荐

