You need to enable JavaScript to run this app. INCEpTION导出CoNLL格式的NER标注如何转换为spaCy NER训练格式
优惠活动
大模型
产品
解决方案
定价
更多

INCEpTION导出CoNLL格式的NER标注如何转换为spaCy NER训练格式

INCEpTION标注成果转spaCy NER训练格式的问题

基础背景与环境配置

  • 工作流程:使用INCEpTION完成命名实体(NER)文本标注,标注成果直接用于spaCy框架的NER模型训练
  • 运行环境:spaCy 2.3.0、Python 3.8.3
  • 可用导出格式:INCEpTION支持导出CoNLL 2000、CoNLL CoreNLP、CoNLL-U等多种格式,目前尝试了多类格式转换流程,均未得到符合训练要求的目标文件

已尝试的转换流程及遇到的问题

基于CoNLL-U格式的转换尝试

使用spaCy官方提供的convert脚本开展转换时,出现两类核心问题:

  • 命令执行报错:按参数要求指定输出路径与JSON文件类型时,系统提示存在无法识别的参数
  • 标注信息丢失:即使跳过参数报错完成流程,输出内容完全丢失原有命名实体标注信息,无实体标签、实体起止索引字段
  • 前期参考同场景的旧问题解决方案,未获得有效指引

基于CoNLL CoreNLP格式的转换尝试

  • 前置校验:确认导出的原始CoNLL CoreNLP文件本身完整包含NER标注信息
  • 初始报错:直接执行convert脚本时,提示CoNLL行的列数不匹配的解包错误
  • 临时调整:手动在实体标签列前补充3个占位_字段后,可得到带ner字段的中间转换结果
  • 仍存在缺陷:输出结果无法直接生成spaCy NER训练要求的、包含实体区间元组结构的目标格式

核心诉求

获取适配当前运行环境的可行格式转换方案,最终输出满足spaCy 2.x版本NER训练要求的JSON格式文件。


内容的提问来源于stack exchange,提问作者nomisjon

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 07:06:11