使用Benepar法语模型进行句法分割时遇RuntimeError问题求助

问题场景 #

使用Benepar搭配benepar_fr2模型执行句法分割时，出现以下加载错误：

RuntimeError: Error(s) in loading state_dict for ChartParser:
Unexpected key(s) in state_dict: "pretrained_model.embeddings.position_ids".

用户执行的代码如下：

import benepar
benepar.download('benepar_fr2')
import spacy

nlp = spacy.load('fr_core_news_sm')
parser = benepar.Parser("benepar_fr2")

def parse_sentence(text):
    doc = nlp(text)
    parsed_sents = [parser.parse(sent.text) for sent in doc.sents]
    return parsed_sents

sentence = "Le chat mange une souris."
parsed_sentence = parse_sentence(sentence)
print(parsed_sentence)

解决方法 #

这个报错是由于transformers库版本与Benepar依赖版本不兼容导致的——新版本transformers新增了position_ids参数，但旧版Benepar的模型加载逻辑无法识别该参数。

方案1：调整transformers版本（推荐） #

卸载当前版本，安装经过验证的兼容版本：

pip uninstall -y transformers
pip install transformers==4.28.1

方案2：升级Benepar到最新版本 #

尝试更新Benepar，确认是否已适配新版本transformers：

pip install --upgrade benepar

完成版本调整后，重新运行代码即可正常加载模型。

内容的提问来源于stack exchange，提问作者nassima.crt