INCEpTION导出CoNLL格式的NER标注如何转换为spaCy NER训练格式
INCEpTION标注成果转spaCy NER训练格式的问题
基础背景与环境配置
- 工作流程:使用INCEpTION完成命名实体(NER)文本标注,标注成果直接用于spaCy框架的NER模型训练
- 运行环境:spaCy 2.3.0、Python 3.8.3
- 可用导出格式:INCEpTION支持导出
CoNLL 2000、CoNLL CoreNLP、CoNLL-U等多种格式,目前尝试了多类格式转换流程,均未得到符合训练要求的目标文件
已尝试的转换流程及遇到的问题
基于CoNLL-U格式的转换尝试
使用spaCy官方提供的convert脚本开展转换时,出现两类核心问题:
- 命令执行报错:按参数要求指定输出路径与JSON文件类型时,系统提示存在无法识别的参数
- 标注信息丢失:即使跳过参数报错完成流程,输出内容完全丢失原有命名实体标注信息,无实体标签、实体起止索引字段
- 前期参考同场景的旧问题解决方案,未获得有效指引
基于CoNLL CoreNLP格式的转换尝试
- 前置校验:确认导出的原始CoNLL CoreNLP文件本身完整包含NER标注信息
- 初始报错:直接执行
convert脚本时,提示CoNLL行的列数不匹配的解包错误 - 临时调整:手动在实体标签列前补充3个占位
_字段后,可得到带ner字段的中间转换结果 - 仍存在缺陷:输出结果无法直接生成spaCy NER训练要求的、包含实体区间元组结构的目标格式
核心诉求
获取适配当前运行环境的可行格式转换方案,最终输出满足spaCy 2.x版本NER训练要求的JSON格式文件。
内容的提问来源于stack exchange,提问作者nomisjon
相关产品推荐
相关产品推荐

