NLP任务中测试集padding长度与训练集不一致的处理方案咨询

问题①答复 #

你当前的分词和padding处理逻辑完全正确：

• 仅在训练集上执行fit_on_texts()的操作符合规范，避免了测试数据泄露，也和实际线上部署的逻辑一致（上线时不可能提前获取未知新数据的词汇信息）
• 测试集padding使用训练集计算得到的maxlen也没有问题，深度学习模型要求训练和推理阶段的输入张量维度完全对齐，用训练阶段确定的长度做统一padding是标准操作
• 可优化的小细节：你可以提前把训练集计算得到的最大长度存为固定变量，比如TRAIN_SEQ_MAXLEN = 51，后续训练、测试阶段padding直接调用该变量即可，无需重复计算序列最大值，既减少冗余计算也避免写错参数。

问题②答复 #

如果测试集的序列最大长度大于训练集的maxlen，依然要使用训练阶段确定的maxlen作为padding的统一长度：

• pad_sequences()自带截断逻辑，默认会截断超过maxlen的序列前部内容，你也可以通过truncating='post'参数设置为截断序列尾部，可根据你的假新闻分类任务特点选择截断位置（比如关键信息通常在开头就选尾部截断，反之选前部截断）
• 不需要强行设置更大的maxlen覆盖所有测试样本：模型训练时从未见过更长的输入序列，就算强行修改maxlen适配测试集的长样本，模型也无法有效处理超出训练长度的内容，反而会因为输入维度不匹配直接报错
• 建议你后续调整maxlen的取值策略：不要直接取训练集序列的绝对最大值，可以统计训练集序列长度的95%或99%分位数作为maxlen取值，这样既可以过滤掉少数极端长样本带来的无效训练成本，也能覆盖绝大多数样本的有效信息，少量截断带来的信息损失几乎可以忽略，也能自然兼容测试集出现的少量更长样本的场景。

内容的提问来源于stack exchange，提问作者Pritam Sinha