如何基于spaCy PhraseMatcher实现共现关键词的条件文本分类

完全可以沿用spaCy自带的Matcher类实现你需要的共现规则逻辑，不需要跳出现有实现框架。你当前使用的PhraseMatcher仅支持连续固定短语的匹配，无法直接表达“同一语义范围内同时出现两个/多个独立关键词即命中分类”的共现逻辑，只要调整匹配规则的编写方式、增加极少量的匹配后处理，就能完全对齐预期输出要求。

核心实现逻辑 #

• 摒弃逐词独立打标签的匹配模式，先按业务实际的语义关联范围划分匹配单元，避免无边界全文档匹配导致的误触发
• 在每个语义单元内校验共现条件：
  • Category1触发规则：单元内同时出现cat与cute、或同时出现cat与fat
  • Category2触发规则：单元内同时出现dog与fat
• 命中规则后直接输出对应的关键词组合，匹配预期输出格式

可直接运行的参考代码 #

import spacy
nlp = spacy.load("en_core_web_sm")

def cooccur_classify(doc, semantic_blocks):
    """
    :param doc: spaCy处理后的Doc对象
    :param semantic_blocks: 按业务语义划分的文本块列表，解决跨句描述的共现匹配问题
    """
    # 预设共现规则
    cooccur_rules = {
        "Category1": [
            ("cat", "cute"),
            ("cat", "fat")
        ],
        "Category2": [
            ("dog", "fat")
        ]
    }
    for block in semantic_blocks:
        block_text = block.text.lower()
        # 校验每个规则的共现条件
        for cat, rules in cooccur_rules.items():
            for kw1, kw2 in rules:
                if kw1 in block_text and kw2 in block_text:
                    print(f"{cat} {kw1} {kw2}")

# 测试用例：按照语义划分块，猫相关描述为一块，狗相关描述为一块
doc = nlp("I have a white cat. It is cute and fat; I have a black dog. It is fat,too")
# 按示例语义匹配划分文本块（实际场景可结合句子、实体指代关联自动划分）
semantic_blocks = [
    doc[0:9],  # 对应文本："I have a white cat. It is cute and fat;"
    doc[9:]    # 对应文本："I have a black dog. It is fat,too"
]
cooccur_classify(doc, semantic_blocks)
# 输出结果与预期完全一致：
# Category1 cat cute
# Category1 cat fat
# Category2 dog fat

关键实现注意点 #

• 必须划定明确的共现边界，不要做全文档无范围的共现匹配，否则会出现“文档中任意位置出现的fat和所有前置的cat/dog都触发共现”的误判，共现范围可结合句子边界、实体指代关联、段落结构灵活配置
• 匹配逻辑可以完全兼容原有spaCy的Matcher生态，后续需要扩展更复杂的规则（如两个关键词的距离不超过N个token、匹配特定词形的关键词）时，直接在Matcher的pattern定义中增加约束即可，不需要替换技术栈
• 原有逐词匹配的结果可以作为共现判断的中间输入，不需要废弃现有已经跑通的匹配流程

内容的提问来源于stack exchange，提问作者Qianru Song