如何在TensorFlow官方NLP工具包的BERT模型NER任务中屏蔽[PAD]与[SEP]令牌，避免其参与预测及损失计算？

嘿，这个问题我太熟悉了——当初我用BERT做NER任务时也踩过这个坑！忽略padding和[SEP]这类无关token的损失计算不仅能提升训练速度，还能避免模型学到无意义的噪声，下面给你两种靠谱的实现方式：

TensorFlow默认的损失函数会计算所有token的损失，我们可以手动创建一个掩码，让模型只关注有效token的损失。核心思路是：用-100标记需要忽略的标签位置（Transformers库默认会跳过标签为-100的损失计算），然后在损失函数中过滤这些位置。

示例代码如下：

import tensorflow as tf
from transformers import BertForTokenClassification, BertTokenizer

def masked_ner_loss(y_true, y_pred):
    # 创建掩码：仅保留标签不为-100的位置
    mask = tf.cast(tf.not_equal(y_true, -100), tf.float32)
    
    # 计算逐token的交叉熵损失（不自动求和）
    loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True, reduction='none')
    per_token_loss = loss_fn(y_true, y_pred)
    
    # 应用掩码，只计算有效token的损失均值
    total_loss = tf.reduce_sum(per_token_loss * mask) / tf.reduce_sum(mask)
    return total_loss

# 初始化模型与分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForTokenClassification.from_pretrained('bert-base-chinese', num_labels=5)

# 编译模型时使用自定义损失
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=2e-5), loss=masked_ner_loss)

更简洁的方式是在数据预处理时，直接把padding和[SEP]对应的标签设为-100。这样即使使用默认损失函数，Transformers的模型内部也会自动跳过这些位置的损失计算。

示例预处理函数：

def preprocess_ner_data(examples):
    # 分词并处理文本
    tokenized_inputs = tokenizer(
        examples["text"],
        truncation=True,
        padding="max_length",
        max_length=128,
        is_split_into_words=True  # 假设输入文本是按词拆分的
    )
    
    labels = []
    for idx, raw_labels in enumerate(examples["labels"]):
        word_ids = tokenized_inputs.word_ids(batch_index=idx)
        prev_word_id = None
        label_ids = []
        
        for word_id in word_ids:
            # 处理padding（word_id为None）和[SEP]令牌
            if word_id is None or word_id == tokenizer.sep_token_id:
                label_ids.append(-100)
            # 处理新词：取对应原始标签
            elif word_id != prev_word_id:
                label_ids.append(raw_labels[word_id])
            # 处理子词：可根据NER任务需求调整（比如沿用父词标签或设为-100）
            else:
                label_ids.append(-100)  # 这里示例为忽略子词损失，按需修改
            
            prev_word_id = word_id
        
        labels.append(label_ids)
    
    tokenized_inputs["labels"] = labels
    return tokenized_inputs

• 为什么用-100？这是Transformers库的约定值，模型在计算损失时会自动忽略标签为-100的位置，无需额外修改模型代码。
• 屏蔽padding和[SEP]的意义：这些令牌没有实际语义，计算它们的损失会引入噪声，同时占用计算资源，屏蔽后训练效率和模型稳定性都会提升。

内容的提问来源于stack exchange，提问作者Mani Rai