训练机器学习模型提取文本文档法律引用的最优算法选择

最优算法选择 #

针对法律引用这类结构化特征明显、格式相对固定的实体抽取任务，按优先级推荐以下方案：

• 首选：spaCy自定义命名实体识别（NER）微调模型。你已经有现成的法律引用标注数据集，只需要将样本统一标注为LEGAL_CITATION实体类型，基于spaCy通用预训练模型做小样本微调即可，既可以覆盖现有正则能匹配的标准格式，也能识别正则容易遗漏的非规范写法，泛化性远高于纯规则匹配。
• 次选：法律领域BERT微调序列标注模型。如果你的业务场景涉及大量专业度极高的冷门法律文本，spaCy通用模型覆盖不足，可以用Legal-BERT这类垂直领域预训练模型做序列标注，识别准确率更高，但训练和推理成本也更高。
• 补充方案：优化后的规则匹配+正则组合。如果你的数据集规模很小不足以训练机器学习模型，优化现有正则和spaCy匹配规则也能满足基础需求。

现有spaCy匹配代码的问题修复 #

你之前的匹配规则存在几处核心错误，导致无法正常匹配：

1. IS_TITLE是布尔类型属性，不需要赋值为NN，正确写法为{'IS_TITLE': True}
2. 单独添加的PERSON、ORG类匹配规则和法律引用匹配逻辑冲突，会产生大量无关匹配
3. 没有覆盖v.之后的卷号、法院编号、年份等核心结构，无法匹配到完整的引用内容
   修正后的匹配规则示例如下：

import spacy
from spacy.matcher import Matcher

nlp = spacy.load('en_core_web_sm')
m_tool = Matcher(nlp.vocab)

# 匹配法律引用核心结构：[原告主体] + v. + [被告主体] + 卷号/法院信息 + 年份括号
legal_pattern = [
    {"IS_TITLE": True, "OP": "+"}, # 匹配1个及以上首字母大写的原告主体词
    {"LOWER": "v"},
    {"IS_PUNCT": True}, # 匹配v后面的英文点
    {"IS_TITLE": True, "OP": "+"}, # 匹配1个及以上首字母大写的被告主体词
    {"IS_PUNCT": True}, # 匹配被告后的逗号
    {"LIKE_NUM": True, "OP": "+"}, # 匹配卷号数字
    {"IS_TITLE": True, "OP": "+"}, # 匹配法院/出版物编号
    {"OP": "*"}, # 兼容中间的页码、附加说明等可变内容
    {"TEXT": "("},
    {"SHAPE": "dddd"}, # 匹配四位年份
    {"TEXT": ")"}
]

m_tool.add("LEGAL_CITATION", [legal_pattern])

doc = nlp(open('text1.txt', 'r', encoding='utf-8').read())
matches = m_tool(doc)
for match_id, start, end in matches:
    print(doc[start:end].text)

现有正则优化方向 #

你当前使用的正则r'(?:[A-Z]\w*\.? )+v\. .*?\d{4}\)'已经可以覆盖大部分标准格式，补充边界匹配可以降低误识别率：

r'\b(?:[A-Z]\w*\.? )+v\. .*?\(\d{4}\)\b'

内容的提问来源于stack exchange，提问作者Philip Munyua