如何在TensorFlow Keras中提升特定训练样本的重要性

核心失败原因排查 #

LSTM属于时序模型，输出标签y和样本权重w的形状必须完全匹配（包括时序维度、输出维度），形状不匹配时Keras会自动忽略权重且不抛出显性报错，是这类问题最常见的诱因。

完整实现步骤 #

• 第一步：修正自定义DataGenerator的输出逻辑
  确保权重张量和标签张量形状完全对齐，示例代码如下：

import numpy as np
import tensorflow as tf
class WeightedDataGenerator(tf.keras.utils.Sequence):
    def __init__(self, X_all, y_all, batch_size=32, timesteps=10):
        self.X_all = X_all # 原始特征集，布尔特征X假设为第0维特征，可自行调整索引
        self.y_all = y_all # 对应标签集
        self.batch_size = batch_size
        self.timesteps = timesteps
        self.sample_index = np.arange(len(self.X_all) - self.timesteps)

    def __len__(self):
        return int(np.floor(len(self.sample_index) / self.batch_size))

    def __getitem__(self, idx):
        batch_idx = self.sample_index[idx*self.batch_size : (idx+1)*self.batch_size]
        X_batch, y_batch, w_batch = [], [], []
        for i in batch_idx:
            # 生成时序窗口
            X_win = self.X_all[i:i+self.timesteps]
            # 根据LSTM输出格式取标签：return_sequences=True取整个窗口标签，False取最后一个时刻标签
            y_win = self.y_all[i:i+self.timesteps] # return_sequences=True用这个
            # y_win = self.y_all[i+self.timesteps-1] # return_sequences=False用这个
            # 按布尔特征X的值分配权重
            # 这里取窗口最后一个时刻的X值判断，可根据业务调整判断逻辑
            if X_win[-1, 0] == 1:
                w = np.ones_like(y_win) * 2
            else:
                w = np.ones_like(y_win) * 1
            X_batch.append(X_win)
            y_batch.append(y_win)
            w_batch.append(w)
        return np.array(X_batch), np.array(y_batch), np.array(w_batch)

• 第二步：训练代码适配
  Keras内置损失函数默认支持样本权重，无需额外修改损失，直接调用fit即可，示例代码：

# 示例LSTM模型定义，可替换为你自己的模型
model = tf.keras.Sequential([
    tf.keras.layers.LSTM(64, return_sequences=True, input_shape=(10, 8)), # 时序步长10、特征数8可自行调整
    tf.keras.layers.Dense(1)
])
# 分类任务换对应交叉熵损失即可，内置损失都兼容样本权重
model.compile(optimizer='adam', loss='mse')

# 实例化生成器并训练
train_gen = WeightedDataGenerator(X_train, y_train, batch_size=32, timesteps=10)
model.fit(train_gen, epochs=20)

• 第三步：权重生效验证
  可以打印__getitem__输出的三个张量形状，确认w和y形状完全一致；也可以用小批量固定数据测试，观察加权样本的损失占比是否符合预期。

常见踩坑点 #

• 权重形状错误：比如标签形状为(32, 10, 1)时，权重不能写成(32,)，必须和标签维度完全对齐
• 自定义损失未兼容权重：如果是自己写的损失函数，需要手动将样本权重纳入损失计算，内置损失无需额外调整
• 不需要额外配置sample_weight_mode参数，生成器输出三元组时Keras会自动识别第三个参数为样本权重

内容的提问来源于stack exchange，提问作者TAUIL Abd Elilah