PyTorch LSTM时序逐步分类场景下CrossEntropyLoss适配问题

你的核心问题有两个：一是当前模型仅输出序列最后一个时间步的结果，不符合逐时间步输出检测结果的需求；二是选错了损失函数，CrossEntropyLoss不适合你这种逐时间步二分类的场景。下面是具体的调整方案：

1. 调整模型结构：输出每个时间步的结果 #

当前模型的forward方法只取了LSTM输出的最后一个时间步（out[:, -1, :]），需要改为对整个序列的每个时间步都做全连接映射：

class LSTMClassifier(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size):
        super(LSTMClassifier, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
        c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
        # 获取LSTM所有时间步的输出，形状为[batch_size, seq_len, hidden_size]
        out, _ = self.lstm(x, (h0, c0))
        # 对每个时间步的隐藏层输出做全连接，得到每个时间步的预测logit
        out = self.fc(out)
        # 压缩最后一维（因为output_size=1），形状变为[batch_size, seq_len]
        return out.squeeze(-1)

2. 更换损失函数：使用BCEWithLogitsLoss #

你的任务是逐时间步二分类（每个时间步输出True/False），CrossEntropyLoss更适合多分类或序列整体分类场景，而BCEWithLogitsLoss专门针对二分类任务，支持序列维度的输入，且内置sigmoid计算，数值稳定性更好。

同时需要把布尔类型的标签转换为浮点型（0.0/1.0），因为BCEWithLogitsLoss要求标签是浮点张量：

# 转换标签为float32类型
y_train_tensor = torch.tensor(y_train, dtype=torch.float32)

# 定义损失函数
criterion = nn.BCEWithLogitsLoss()

3. 调整训练与推理逻辑 #

• 训练时，模型输出形状为[batch_size, seq_len]，和标签形状完全匹配，直接传入损失函数即可。
• 推理时，用sigmoid将logit转换为概率，再通过阈值（如0.5）得到布尔型的异常检测结果：

# 训练循环（修改后）
num_epochs = 10
for epoch in range(num_epochs):
    optimizer.zero_grad()
    outputs = model(X_train_tensor)
    loss = criterion(outputs, y_train_tensor)
    loss.backward()
    optimizer.step()
    print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

# 推理部分（修改后）
X_test = np.random.rand(10, 10, 5)
X_test_tensor = torch.tensor(X_test, dtype=torch.float32)
with torch.no_grad():
    logits = model(X_test_tensor)
    # 将logit转换为概率，再通过阈值得到布尔结果
    probs = torch.sigmoid(logits)
    predicted_outputs = probs > 0.5
    print("Predicted Outputs:\n", predicted_outputs)

额外优化建议 #

• 针对异常模式持续3-4个时间步、仅最后一步标记为True的特点，可以考虑在训练时加入时序约束：比如对连续异常步中未标记为True的位置，惩罚模型的误判；或者在损失函数中加入相邻时间步的一致性正则项，帮助模型学习异常序列的时序模式。
• 初始化隐藏层时，可以考虑用xavier_normal_等方式初始化，而不是全零，避免训练初期梯度消失。

内容的提问来源于stack exchange，提问作者koala_nn