使用Stanford NLP运行依存分析代码时出现索引dtype类型不匹配报错
报错核心原因
这个错误是停更版本的stanfordnlp库和高版本PyTorch的接口不兼容导致的:
- 旧版
stanfordnlp的依存分析模块在生成位置索引张量时,默认输出int32类型的张量 - PyTorch 1.12及以上版本取消了对
index_select接口的隐式类型转换,强制要求传入的索引参数必须是int64(long)类型 - 两者类型不匹配,就触发了
Expected dtype int64 for index的运行时错误
可落地的解决方法
- 方案1(推荐,无环境冲突):直接卸载停更的
stanfordnlp,使用官方继任的同功能库stanza,原有业务逻辑几乎不需要改动,替换后的可运行示例代码如下:import stanza # 首次运行自动下载英文依存分析模型 stanza.download("en") nlp = stanza.Pipeline("en") doc = nlp("Barack obama in Hawaii") for sent in doc.sentences: sent.print_dependencies() - 方案2(不想换库的场景):将当前环境的PyTorch版本降级到有兼容性容错的
torch==1.11.0,这个版本的PyTorch会自动对int32类型的索引做隐式转换,不会触发类型校验报错,安装命令为:pip install torch==1.11.0 - 方案3(临时应急,不推荐):直接修改报错指向的环境内库源码,打开报错路径下的
seq2seq_model.py文件,定位到第193行的代码:
原代码:s.data.copy_(s.data.index_select(0, positions))
修改后:s.data.copy_(s.data.index_select(0, positions.long()))
保存后重启脚本即可运行,但这个修改会在库重装、版本更新后失效,仅适合临时调试场景。
内容的提问来源于stack exchange,提问作者user11769546
相关产品推荐
相关产品推荐

