如何在自定义农业对话数据集上微调spacy-experimental en-coreference-web-trf模型

一、关于spaCy支持模型微调的确认 #

spaCy完全支持基于预训练模型（包括en-coreference-web-trf）进行领域微调，无需从头训练。你可以直接加载预训练模型，在自定义数据集上继续训练，保留预训练阶段的权重，仅针对农业领域数据调整模型参数。

二、自定义数据集的格式转换方案 #

无需纠结OntoNotes的私有格式，spaCy可直接使用自带的DocBin格式或标注好的Doc对象列表作为训练数据。针对指代消解任务，标注和转换步骤如下：

• 针对每段对话文本，标注所有指代链：将同一实体的不同提及（如"番茄植株"、"它们"）归为同一个链。
• 用spaCy的Doc对象存储标注：创建Doc后，通过doc.spans["coref"]添加指代跨度，给同一链的所有跨度设置相同的._.coref_cluster_id（可用整数标识）。
• 将所有标注好的Doc存入DocBin，保存为.spacy格式文件，用于后续训练。

示例代码片段：

import spacy
from spacy.tokens import DocBin, Span

nlp = spacy.load("en-coreference-web-trf")
doc_bin = DocBin()

# 假设custom_data是[(对话文本, 指代链列表)]的结构，指代链列表中每个元素是同一实体的所有提及位置（起始/结束索引）
for text, coref_chains in custom_data:
    doc = nlp.make_doc(text)
    spans = []
    chain_id = 0
    for mentions in coref_chains:
        for start, end in mentions:
            span = Span(doc, start, end)
            span._.coref_cluster_id = chain_id
            spans.append(span)
        chain_id += 1
    doc.spans["coref"] = spans
    doc_bin.add(doc)

doc_bin.to_disk("./agri_coref_train.spacy")

三、执行微调的具体步骤 #

1. 生成训练配置文件：使用spacy init fill-config命令，基于spaCy的参考配置生成适配文件，需指定预训练模型路径、训练/验证数据路径等，重点确保[components.coref]部分的来源设置为预训练的en-coreference-web-trf。
2. 启动训练：运行spacy train config.cfg --output ./fine_tuned_model --paths.train ./agri_coref_train.spacy --paths.dev ./agri_coref_dev.spacy，训练过程会自动加载预训练权重并完成领域微调。

四、关键注意事项 #

• 指代标注需精准：对话场景中要重点关注上下文关联的指代（如指代前文的作物、农机等），确保同一实体的所有提及都被归到同一簇。
• 调整训练参数：若微调效果未达预期，可尝试降低学习率、增加训练轮数，或补充更多农业领域的标注数据。

内容的提问来源于stack exchange，提问作者Sai Gopal Reddy Kovvuri