OpenNLP命名实体识别器货币实体被误判为日期的问题咨询

问题根源 #

你遇到的核心问题是后续的日期NER识别器覆盖了前面已标注的货币实体。默认情况下，OpenNlpNamedEntityRecognizer会对所有token重新执行实体识别——哪怕这些token已经被前面的引擎标注过，这就导致日期模型误把货币实体重新归类成了日期类型。另外，虽然你指定了PARAM_VARIANT，但没有限制每个识别器只处理未标注的内容，也没有明确绑定实体类型，进一步加剧了类型混淆。

解决方案 #

你需要给每个NER识别器添加两个关键配置，让它们各司其职、互不干扰：

1. 设置PARAM_OVERWRITE为false：让每个识别器只处理未被标注的token，避免覆盖前面已正确识别的实体。
2. 显式指定PARAM_ENTITY_TYPE：确保每个识别器只输出对应类型的实体，从根源上避免类型冲突。

修改后的流水线代码 #

createEngineDescription(OpenNlpSegmenter.class),
createEngineDescription(OpenNlpPosTagger.class),
// 货币实体识别：仅处理未标注token，输出money类型
createEngineDescription(OpenNlpNamedEntityRecognizer.class,
    OpenNlpNamedEntityRecognizer.PARAM_VARIANT, "money",
    OpenNlpNamedEntityRecognizer.PARAM_ENTITY_TYPE, "money",
    OpenNlpNamedEntityRecognizer.PARAM_OVERWRITE, false),
// 日期实体识别：仅处理未标注token，输出date类型
createEngineDescription(OpenNlpNamedEntityRecognizer.class,
    OpenNlpNamedEntityRecognizer.PARAM_VARIANT, "date",
    OpenNlpNamedEntityRecognizer.PARAM_ENTITY_TYPE, "date",
    OpenNlpNamedEntityRecognizer.PARAM_OVERWRITE, false),
// 地点实体识别：仅处理未标注token，输出location类型
createEngineDescription(OpenNlpNamedEntityRecognizer.class,
    OpenNlpNamedEntityRecognizer.PARAM_VARIANT, "location",
    OpenNlpNamedEntityRecognizer.PARAM_ENTITY_TYPE, "location",
    OpenNlpNamedEntityRecognizer.PARAM_OVERWRITE, false),
// 人物实体识别：仅处理未标注token，输出person类型
createEngineDescription(OpenNlpNamedEntityRecognizer.class,
    OpenNlpNamedEntityRecognizer.PARAM_VARIANT, "person",
    OpenNlpNamedEntityRecognizer.PARAM_ENTITY_TYPE, "person",
    OpenNlpNamedEntityRecognizer.PARAM_OVERWRITE, false),

额外优化建议 #

你当前的Gradle依赖中，人物实体模型版本是20130624.1，而其他三个模型版本是20100907.0。版本不一致可能带来潜在的兼容性问题，建议统一升级到DKPRO Core对应版本的最新模型包，减少后续出现奇怪问题的概率。

验证方法 #

修改后用包含混合实体的文本测试（比如"I earned $1200 last month and will visit Paris on 2024-11-15"），确认$1200被标注为money、2024-11-15被标注为date、Paris被标注为location，且所有实体类型都正确无覆盖。

内容的提问来源于stack exchange，提问作者RodP