基于BERT的文本语义相关命名实体分组实现方案咨询

任务可行性 #

这个任务完全可以实现，本质是实体关联聚类任务，结合了事件论元聚合和弱共指消解的特性，你已经有标注好的实体关联关系训练集，数据基础已经具备，落地难度不高。

适用的BERT-base架构 #

你可以直接复用现有NER任务输出的BERT嵌入，可选的架构方案有这几种：

• 实体对二分类架构：提取每个实体对应的BERT span嵌入（可以用实体首/尾token的<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>嵌入，或者实体覆盖所有token的平均嵌入），两两拼接实体嵌入后接入全连接层，判断两个实体是否属于同一个语义组，推理阶段用连通分量算法把所有互判为同组的实体聚合即可。如果要提升效果，可以额外拼接实体类型、实体在文本中的相对位置距离作为辅助特征。
• 实体组ID序列标注架构：把分组任务转化为给每个实体打组ID的多分类任务，在BERT输出层之上接入分类头，直接预测每个实体对应的组别编号。这种方案适合单文本内实体数量少、组别上限可控的场景，训练和推理效率都比实体对匹配方案更高。
• NER+分组联合训练架构：直接和你现有的NER任务做联合微调，在提取实体span的同时同步预测span对应的分组标签，能减少NER到分组任务的误差传递，整体效果通常会更好。

图模型适配性 #

图模型完全适配这个场景，是这类关联聚类任务的常用方案：
你可以把每个实体作为图的节点，节点初始特征用BERT输出的实体嵌入，边的初始权重可以通过实体span的语义余弦相似度、实体相对距离、实体类型匹配度等特征计算得到，之后接入GCN、GAT等图神经网络学习节点间的关联表示，最终输出节点的聚类结果即可。如果你的标注数据里实体关联存在明显的传递性（比如A和B同组、B和C同组则A和C必然同组），图模型的效果会明显优于普通的全连接架构，也能更高效地利用你已有的实体关联标注信号。

内容的提问来源于stack exchange，提问作者kan