基于PyTorch微调LM的多标签文本分类：是否需屏蔽输入标签？

是否必须屏蔽训练输入中的类别标签？ #

不是必须，但要结合任务场景判断：

• 如果你的测试数据不会出现标签对应的token（比如测试文本是不含类别词的实体描述），强烈建议屏蔽——避免模型走捷径；
• 如果测试数据会出现标签token（比如任务就是识别文本中明确提到的类别），可以不屏蔽，但要保证训练数据有足够多样性，别让模型只依赖标签词做判断。

不屏蔽会导致过拟合或丧失泛化性吗？ #

很大概率会。模型会快速学会“文本里有‘dog’就输出dog类别”这种偷懒逻辑，完全忽略文本的其他语义信息。比如你最后一条训练数据：文本里没提dog，但标签是dog，模型可能因为之前的捷径逻辑，在这类样本上表现极差；遇到没出现标签token的测试样本时，泛化能力直接崩盘——本质是模型没学到真正的分类逻辑，只是记住了标签词和类别的表层关联。

如何用PyTorch实现屏蔽操作？ #

1. 预处理阶段替换标签token #

先统一文本和标签的大小写，避免匹配遗漏，然后把文本中出现的标签token替换成特殊标记（比如<MASK>），也可以直接删除（但用标记更直观）。示例代码：

def mask_label_tokens(text, labels):
    # 统一处理大小写，确保能匹配到不同形式的标签词
    processed_text = text
    for label in labels:
        # 匹配小写、首字母大写、全大写的情况
        processed_text = processed_text.replace(label.lower(), "<MASK>")
        processed_text = processed_text.replace(label.capitalize(), "<MASK>")
        processed_text = processed_text.replace(label.upper(), "<MASK>")
    return processed_text

# 处理训练数据集
processed_train = []
for sample in Train:
    masked_input = mask_label_tokens(sample["input"], sample["class"])
    processed_train.append({"input": masked_input, "class": sample["class"]})

2. 适配语言模型的Tokenizer #

如果用HuggingFace的预训练模型（比如BERT、RoBERTa），要确保<MASK>在tokenizer的词汇表里。如果没有，手动添加：

from transformers import BertTokenizer, BertForSequenceClassification

tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
# 添加自定义特殊标记
tokenizer.add_special_tokens({"additional_special_tokens": ["<MASK>"]})

# 加载模型后，调整embedding层的大小以适配新token
model = BertForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)
model.resize_token_embeddings(len(tokenizer))

3. 训练流程适配 #

处理后的文本直接传入tokenizer，转换成模型需要的input_ids、attention_mask等张量，后续训练流程和常规文本分类完全一致。

内容的提问来源于stack exchange，提问作者Morty