spaCy中同一单词跨文档生成不同BLIOU标签的解决方法

首先明确一点：BILOU本身就不是和单个单词静态绑定的标签，它是依赖实体位置的序列标注标签，同一个词出现在实体的不同位置、或者不属于实体时，标签天然就不一样：

• 实体的第一个词标B-实体类
• 实体中间的词标I-实体类
• 实体的最后一个词标L-实体类
• 单个词独立构成实体标U-实体类
• 不属于任何实体标O

举个最直白的例子，"pain"这个词：

• 出现在"no chest pain"这个NO-CHEST-PAIN实体末尾时，标签是L-NO-CHEST-PAIN
• 单独作为疼痛症状实体出现时，标签是U-SYMPTOM
• 没有被标注为实体组成部分时，标签就是O

你要求同一个词在所有文档里标签完全一致，本质是把「词的静态语义分类」和「序列标注的位置标签」搞混了，真硬给所有同单词绑同一个BILOU标签，最后训出来的模型完全没法识别多词实体边界，基本等于废了。

根据你的实际需求选对应的方案即可：

方案1：需求是做规则匹配、固定每个词对应的实体类别（不需要位置标签） #

直接放弃BILOU标签体系，从标注数据里统计词和实体类别的映射词典就行：

• 遍历所有文档的标注实体，把每个实体span切词后，统计每个词对应不同实体类别的出现次数
• 设一个置信度阈值，比如一个词80%以上出现场景都属于某一类，就把它固定映射到这个类
• 歧义词（比如"F"既可能指代女性，也可能指代华氏度）保留多类别映射，匹配时结合词性、周边词规则消歧

核心实现代码：

from collections import defaultdict, Counter
word_label_counter = defaultdict(Counter)

# 统计全量数据中词与实体类别的共现关系
for text, annot in training_data['annotations']:
    doc = nlp(text)
    for ent_start, ent_end, ent_label in annot['entities']:
        # 对齐token边界，跳过错位的无效实体
        span = doc.char_span(ent_start, ent_end, alignment_mode="contract")
        if not span:
            continue
        for token in span:
            word_label_counter[token.text.lower()][ent_label] += 1

# 生成固定映射词典，阈值可根据实际效果调整
fixed_word_map = {}
confidence_threshold = 0.8
for word, count_stat in word_label_counter.items():
    total_cnt = sum(count_stat.values())
    top_label, top_cnt = count_stat.most_common(1)[0]
    if top_cnt / total_cnt >= confidence_threshold:
        fixed_word_map[word] = top_label

方案2：需求是正常训练BILOU序列标注模型，只是想减少不合理的标签不一致 #

这类不一致绝大多数是标注错误、字符偏移和token边界对齐错误导致的，按以下步骤修复即可：

1. 先解决偏移对齐错误
   你现在直接调用offsets_to_biluo_tags很容易因为字符偏移和spaCy的分词边界不匹配，生成错误标签。先把所有实体边界和token对齐，过滤无效实体：

valid_spans = []
for start, end, label in annot['entities']:
    span = doc.char_span(start, end, label=label, alignment_mode="contract")
    if span:
        valid_spans.append(span)
# 用对齐后的span生成BILOU标签
tags = offsets_to_biluo_tags(doc, [(s.start_char, s.end_char, s.label_) for s in valid_spans])

2. 统一标注规则
   遍历全量标注数据，把文本完全相同、但标注类别不同的实体span全部捞出来，比如同样是"chest pain"，有的文档标NO-CHEST-PAIN，有的标CHEST-PAIN，人工修正标注错误，保证相同语义的实体标注规则统一。
3. 不要强行统一单词语义正常的标签差异
   标注规则统一后，剩下的标签差异都是符合上下文逻辑的正常情况——同一个词在不同位置本来就该有不同的BILOU标签，模型训练时会自动学习上下文和标签的对应关系，强行统一反而会破坏数据合理性。

方案3：硬性要求必须给每个单词绑定固定BILOU标签（极度不推荐） #

直接用方案1生成的词-类别映射，遍历所有token打标签：

• 词不在映射词典里统一打O
• 词在映射词典里统一打U-对应类别，把所有实体都强制当成单个词的单元实体，完全放弃多词实体的边界识别

警告：该方案会彻底丢失实体边界信息，实体识别效果会出现断崖式下跌，除非有特殊硬性要求，否则绝对不要用。

内容的提问来源于stack exchange，提问作者tanmay