Spacy 3.0.5中使用NER Scorer评估模型时报score参数不匹配TypeError
Spacy 3.0 NER评分报错修复
报错核心原因
- 这个报错本质是Spacy 3.0对
Scorer组件的API做了破坏性变更,和你写的测试集结构无关。2.x版本的score()方法签名是接收预测doc、黄金doc两个独立参数,但3.0版本把入参改成了仅接收对齐好的Example对象/Example列表。方法本身的self占1个位置参数,加上唯一入参总共只收2个位置参数,你调用时额外多传了pred_value作为独立参数,就刚好凑了3个位置参数,触发参数数量不匹配的TypeError。 - 原有循环逻辑本身也有设计漏洞:逐次构造样本、跑模型预测后,没有把对齐好的样本传给Scorer做累计统计,循环结束后只拿最后一个样本的对象传参,就算没触发参数报错,最终的评分结果也只会基于最后1条测试样本,完全达不到全量测试集评分的效果。
核心问题点
- 没有适配3.0版本Scorer的入参规则:不需要拆分传入预测文档、黄金标注文档,所有对齐后的样本要封装为
Example对象批量传入。 - Example构造逻辑不完整:
Example.from_dict需要在预测、黄金标注完成对齐的基础上加载标注信息,不能把未关联预测结果的空doc直接传给评分逻辑。
修复后可运行代码
import spacy from spacy.tokens import Example from spacy.scorer import Scorer def evaluate(ner_model, testing_data): scorer = Scorer() test_examples = [] for input_, annot in testing_data: # 生成黄金标注侧的原生doc gold_doc = ner_model.make_doc(input_) # 生成模型预测输出的doc pred_doc = ner_model(input_) # 构造对齐预测、黄金两个doc的Example对象 example = Example(pred_doc, gold_doc) # 把测试集的实体标注加载到Example的黄金侧 example = example.from_dict(example.gold, {"entities": annot}) test_examples.append(example) # 批量传入全量测试样本完成评分,参数数量完全匹配方法签名 return scorer.score(test_examples) # 兼容你现有完全不用改动的测试集结构 testing_tagged = [ ("Who was Hamlet?", [(8,14,'PERSON')]), ("Have you ever met Rome?", [(18,22,'LOC')]) ] # 调用后即可输出包含实体精确率、召回率、F值、分类型指标的完整评分字典 print(evaluate(nlp_updated, testing_tagged))
适配3.0版本的注意事项
- Scorer的指标统计是全量累计模式:既可以在循环内逐个调用
scorer.score(example)逐次累计结果,也可以把全量Example组成列表一次性传入,两种方式的统计结果完全一致,禁止拆分传入预测doc、黄金doc两个独立参数,这是3.0和2.x版本最容易踩的API差异坑。 - 旧版本使用的
GoldParse对象已经在3.0版本被彻底移除,所有模型训练、评分环节的标注载体,都统一为同时存储预测结果、黄金标注的Example对象,不存在单独把黄金doc传给Scorer的使用方式。
内容的提问来源于stack exchange,提问作者user47467
相关产品推荐
相关产品推荐

