使用spaCy构建自定义模型时配置生成及训练报错如何解决
spaCy自定义模型训练报错修复方案
问题1:spacy init fill-config执行后config文件为空、DuplicateSectionError、RegistryError[E893]
- 修复DuplicateSectionError:打开base_config.cfg全局搜索
[paths]配置段,删除重复的paths段,仅保留1个完整的paths配置块即可,不要手动额外添加重复配置内容。 - 修复RegistryError找不到
spacy.MultiHashEmbed.v2:该报错由本地spaCy版本与base_config.cfg对应的版本不匹配导致,执行pip install -U spacy升级到最新稳定版,或到对应版本的官方快速入门页面重新下载匹配的base_config.cfg即可。 - 执行fill-config命令前不要提前手动创建config.cfg文件,让命令自动生成目标文件,避免旧文件/空文件导致的写入异常。
问题2:训练命令提示paths->train不是可覆盖的配置项
- 首先确认base_config.cfg的
[paths]段配置如下,固定值的配置项不支持命令行覆盖,需设置为空值预留覆盖位:
[paths] train = null dev = null vectors = null init_tok2vec = null
- 命令行覆盖配置项需要添加
--config.前缀,正确的训练命令写法为:python3 -m spacy train config.cfg --output ./output --config.paths.train train.spacy --config.paths.dev dev.spacy - 注意不要将训练集同时作为验证集传入,会导致评估结果完全失真,建议单独划分10%~20%的标注数据生成dev.spacy作为验证集。
完整训练&评估流程
- 修复配置后重新执行填充命令:
python3 -m spacy init fill-config base_config.cfg config.cfg,确认生成的config.cfg内容非空无报错。 - 执行训练命令,等待训练完成后会在output目录下生成model-best(最优模型)和model-last(最后一轮训练模型)。
- 执行评估命令查看模型效果:
python3 -m spacy evaluate ./output/model-best ./dev.spacy
内容的提问来源于stack exchange,提问作者user14497686
相关产品推荐
相关产品推荐

