SpaCy 3.5.0训练自定义NER模型时训练流水线未执行问题求助

以下是几种常见的导致训练未进入「Training pipeline」阶段的原因：

• 训练数据异常

  • 虚拟数据未正确生成符合SpaCy要求的DocBin格式文件，或者生成的训练/验证数据集为空。SpaCy检测到无有效训练样本时会直接跳过训练步骤。可以加载数据文件后执行len(doc_bin.get_docs(nlp.vocab))确认样本数量，同时检查数据标注是否完整，比如实体span是否有效、标签是否正确映射。
  • 数据转换过程中出现隐性错误，比如文本编码问题、标注格式不兼容（如未从JSON/CSV正确转换为SpaCy格式），导致模型无法识别有效训练数据。

• 配置文件参数错误

  • config.cfg中training部分的max_steps被设置为0，直接终止了训练流程。
  • 配置文件里paths.train或paths.dev指向的路径错误，或是文件损坏，导致SpaCy无法读取训练数据。
  • 未在配置中正确启用NER组件的训练，比如组件配置中source参数未指向正确的ner组件，或是训练任务未包含ner目标。

• 环境依赖问题

  • 虽然代码无报错，但可能存在依赖版本不兼容情况，比如thinc、numpy等库的版本与SpaCy 3.5.0不匹配，导致训练流程无法正常启动。可以尝试重新安装指定版本：pip install spacy==3.5.0 --force-reinstall，并验证依赖版本是否符合要求。

• 训练启动命令问题

  • 使用spacy train命令时，未正确传递训练/验证数据路径参数，或是输出目录无写入权限，导致训练初始化后无法继续执行。检查命令是否完整，比如：python -m spacy train config.cfg --output ./train_output --paths.train ./train_data.spacy --paths.dev ./dev_data.spacy，同时确保输出目录存在且有写入权限。

内容的提问来源于stack exchange，提问作者Display Name is missing