如何模拟并使用预训练ML模型处理数据形状与训练集不同的场景

模拟这类场景核心是复现真实环境中特征数量/维度的波动，以下是几种可落地的方法：

• 特征缺失模拟
  针对训练数据的特征集，随机或按规则删除部分特征：

  • 随机缺失：按指定概率（如10%-30%）随机丢弃单条样本的任意特征，模拟传感器临时故障、数据传输丢包
  • 规则缺失：固定删除某几类特征（如网络流量中的packet_length字段），模拟特定监测模块离线
    示例代码（Python）：

  import pandas as pd
  import numpy as np
  
  def simulate_missing_features(df, missing_rate=0.2):
      mask = np.random.binomial(1, 1-missing_rate, size=df.shape).astype(bool)
      # 确保至少保留1个特征避免空样本
      mask = mask | (np.sum(mask, axis=1) == 0)[:, np.newaxis]
      return df.where(mask)
  

• 新增特征模拟
  在训练数据基础上添加新的特征，模拟业务新增监测维度：

  • 噪声特征：生成与原有特征无关联的随机噪声（如正态分布随机数），模拟无效数据注入
  • 关联特征：基于原有特征计算衍生字段（如从src_ip生成ip_segment），模拟业务逻辑升级带来的新特征
  • 异构特征：添加不同数据类型的特征（如原有是数值型，新增字符串型标签），模拟多源数据融合场景

• 动态维度波动模拟
  构建批次级的维度变化：比如某批次样本保留90%训练特征，下一批次新增5个特征再删除3个，模拟真实环境中数据采集规则的动态调整

核心思路是对齐特征空间或适配模型结构，以下是几种可行方案：

• 特征对齐策略

  • 补全缺失特征：
    对于训练时存在但实际场景缺失的特征，用统计值（均值、中位数）填充，或用预训练的特征生成器（如基于训练数据训练的自编码器）生成缺失特征的近似表示
    示例：训练时包含avg_packet_size，实际场景缺失时，用训练集的avg_packet_size均值填充
  • 过滤新增特征：
    若新增特征与模型任务无关，直接丢弃；若相关，可先做特征重要性分析（如用SHAP值），筛选对任务有贡献的特征后，通过投影层映射到训练时的特征空间

• 模型适配策略

  • 添加特征投影层：
    在预训练模型前新增一个可训练的投影层，将任意维度的输入特征映射到训练时的特征维度。比如实际输入是D维，训练时是N维，投影层用全连接层实现D -> N的转换，仅训练该层而冻结原模型参数
    示例代码（PyTorch）：

    import torch.nn as nn
    
    class AdaptedModel(nn.Module):
        def __init__(self, pretrained_model, input_dim, target_dim):
            super().__init__()
            self.projection = nn.Linear(input_dim, target_dim)
            self.pretrained_model = pretrained_model
            # 冻结预训练模型参数
            for param in self.pretrained_model.parameters():
                param.requires_grad = False
        
        def forward(self, x):
            x = self.projection(x)
            return self.pretrained_model(x)
    

  • 引入动态特征选择模块：
    在模型输入前添加注意力驱动的特征选择层，自动识别与任务相关的特征，忽略无关新增特征，同时对缺失特征进行掩码处理，确保输入维度与训练时一致

• 增量微调策略
  收集一定量的实际场景数据（包含维度变化的样本），将其与训练数据混合后，对模型进行增量微调。微调时固定模型的核心层，仅调整输入层或头部层，让模型适应新的特征空间

内容的提问来源于stack exchange，提问作者fattoun