XLM-RoBERTa多标签分类测试准确率高但新数据预测效果差问询

第一阶段：排查低级管线错误（80%的这类问题都是这个原因） #

别先上来就扯概念漂移，先把最容易犯的错查完：

• 校验tokenizer输出一致性：抽100条训练阶段留存的验证集样本，送入当前跑第6个月数据的推理管线，对比推理时输出的input_ids、attention_mask和训练时同样本的张量值是否完全一致。重点查几个易踩坑点：
  • 预处理时文本编码是否错误，是否出现乱码导致<unk>token占比异常飙升（正常多语言场景<unk>占比应该低于3%，超过10%就会严重影响效果）
  • XLM-RoBERTa训练时是否关闭了小写转换（do_lower_case=False），推理时有没有误开；截断长度、截断方向是否和训练时完全对齐
  • 数据库取数字段是否正确，有没有把其他无关字段（比如用户id、时间戳）当成文本输入进模型
• 校验标签映射逻辑：核对训练时的标签顺序和推理、评估时的标签顺序是否完全一致，多标签任务只要标签顺序错配，算出来的准确率会直接跌到随机水平。
• 校验原测试集准确率真实性：确认之前5个月数据的训练/验证/测试集是不是随机打乱切分的。如果是随机切分，测试集里会混入大量和训练集同主题、甚至重复的样本，测出来的86%准确率是虚高的——本质是模型记住了训练集的表层模式，没有学到泛化的分类规则，碰到全新时间段的数据直接失效。

第二阶段：排查数据分布漂移 #

如果前面所有管线逻辑都完全对齐，再查分布问题：

• 先做基准测试：从第6个月的数据集里挑出和原测试集文本TF-IDF余弦相似度高于0.7的样本，单独算这部分的预测准确率。如果这部分准确率也远低于86%，100%是管线还有没对齐的参数；如果这部分准确率和原测试集基本持平，剩下的低相似度样本准确率接近随机，就是典型的分布漂移。
• 标签分布校验：分别统计前5个月训练集、第6个月数据集的每个标签正样本占比、标签共现组合占比。如果第6个月的标签占比和训练集偏差超过30%，或者出现了大量训练集里从来没出现过的标签组合，模型自然无法正确预测。
• 文本内容校验：排查第6个月的文本是不是出现了训练集里完全没有的新语义模式——比如前5个月都是常规用户反馈，第6个月刚好赶上营销活动、公共热点，文本里大量出现训练集没覆盖的黑话、缩写、专属活动词汇，XLM-RoBERTa的预训练权重和训练时学到的模式覆盖不到这些新内容，就会输出随机结果。

对应修复方案 #

• 管线类问题：把训练时所有预处理参数、tokenizer配置、标签映射表都序列化存为独立配置文件，推理时直接加载配置，不要手动硬编码参数，从流程上避免前后不一致。
• 切分逻辑问题：时间属性强的文本分类任务必须按时间维度切分数据集，比如用前4个月数据做训练，第5个月数据做验证和测试，测出来的准确率才是模型真实的跨时段泛化能力，随机打乱切分的测试结果没有实际参考价值。
• 分布漂移问题：
  • 轻量漂移场景：抽200-500条第6个月的标注样本，在原有模型上做小学习率的微调，就能快速拉回效果
  • 新词/新语义多的场景：先拿第6个月的无标注文本，在原有XLM-RoBERTa模型上跑一轮MLM领域自适应预训练，让模型学习新词的语义表示，再接少量标注样本微调
  • 长期迭代场景：搭建简单的月度模型迭代流程，每个月用新产出的标注数据更新模型，避免时间久了漂移累积导致效果崩盘

内容的提问来源于stack exchange，提问作者İhsan Dağ