SGDClassifier遇到未见过的特征值时预测结果随机异常原因问询

问题原因分析 #

• 字符级NGram特征的边界效应
  该实现采用char_wb模式的4元字符Gram做TF-IDF，且将银行名与交易描述直接拼接为单文本，哪怕新银行名本身完全不在训练集词表中，拼接产生的银行名与交易描述的边界字符组合、银行名内部的部分字符组合仍可能命中训练集词表，导致最终得到的特征向量和删除银行名得到的特征向量存在明显差异，并非预设的“未见过的值对应特征全部为0”。
• 正则化强度不足
  代码中设置的alpha=1e-6正则化强度极低，线性模型会拟合大量稀疏、相关性弱的特征，这类特征的权重波动极大，哪怕特征向量仅存在少量维度的差异，经过线性加权求和后也会带来输出得分的明显变化，配合log损失的softmax激活，最终输出的预测结果和概率会呈现随机波动的特征。
• 特征联合拟合的偏移问题
  就算将银行名单独作为分类变量处理，模型训练时是同时拟合交易描述特征和银行名特征的权重，训练集样本的预测得分是两类特征得分的加总。当测试集出现新银行名时，银行名特征对应维度全为0，相当于缺少了训练集同类样本普遍存在的银行名特征偏移项，自然和完全删除银行名特征训练出来的模型输出存在巨大差异。
• 补充说明：该现象和SGD的随机收敛特性无关
  代码中已经设置了random_state=0固定了随机种子，不存在随机收敛导致结果波动的问题，且线性模型的推理逻辑是固定权重的线性加权，只要特征固定输出就固定，不存在“无法处理未见过特征值”的问题，本质是特征处理和参数设置的问题。

解决方案 #

• 拆分特征处理逻辑：不要直接拼接银行名和交易描述做字符NGram，二者分开处理：交易描述单独做TF-IDF提取文本特征，银行名分字段做频率编码或者预留未知类的独热编码，再把两类特征拼接后送入模型训练。
• 调高正则化强度：将alpha参数调整到1e-4~1e-3区间，降低模型对稀疏弱特征的拟合程度，减少预测结果的波动。
• 增加OOV样本增强：训练阶段随机将部分样本的银行名替换为未知类标记，让模型提前学习到银行名未知场景下的决策逻辑，避免测试集遇到新银行名时特征分布偏移过大。
• 可选优化：如果要求新银行名样本的预测结果和无银行名样本完全一致，训练阶段可以加入一批删除银行名的样本做数据增强，让模型拟合到银行名缺失时的特征模式。

内容的提问来源于stack exchange，提问作者Outcast