You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用Spacy NER标注自定义实体CUSTOM,是否需标记整个词?

关于Spacy NER标注公司实体的实操建议

1. 优先标注完整的目标字符串

从NER模型的训练逻辑出发,应该把Amazon1337XS324、*Google这类完整字符串全标记为CUSTOM实体,理由很直接:

  • 模型学习的是「上下文+完整实体特征」,那些看似无意义的后缀(数字、字母组合)其实是这类短文本里公司名称的固定呈现形式,模型会自动把后缀和核心词关联起来,反而能提升识别精准度。
  • 若只标核心词,后续模型遇到带后缀的文本时,可能只会把Amazon挑出来当成实体,剩下的后缀部分被判定为无关内容,不符合你要识别完整公司标识的目标。

2. 特殊符号的处理逻辑

针对*Google、Just *Eat这类带特殊符号的情况:

  • 如果*是文本本身的固定内容(比如输入时的格式标记),就把带符号的完整部分标为实体;
  • 如果*是标注时误加的干扰符号,就去掉符号后标注核心公司名(比如Just Eat)。

3. 只标核心词能否识别新后缀?

如果只标注Amazon、Google这类核心部分,模型无法稳定识别带新后缀的新示例。因为模型没学习到「核心词+任意后缀」的关联特征,遇到Amazon1337XS325这类新样本时,要么只识别出Amazon,要么完全判定为非实体。

要是后缀确实完全随机无意义,可以尝试混合标注:大部分样本标完整实体,小部分样本只标核心词,让模型学习到核心词关联的扩展特征,但这种方式需要更多训练数据支撑,效果远不如直接全标完整实体稳妥。


内容的提问来源于stack exchange,提问作者vividjourney

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.22 02:24:38