为何训练与验证损失均呈直线？Conv-LSTM训练异常排查

输入特征已在论文中验证有效性，使用CNN+FC网络可完成特征提取与分类任务；将任务改为回归后，Conv+FC网络能够正常收敛。为利用数据时序特性，改用Conv-LSTM模型，基于多历史输入+当前输入输出当前时刻的回归结果。模型采用开源Conv-LSTM实现，损失函数为L1-Loss，优化器使用Adam，但训练过程中损失曲线始终平坦，数值无明显下降趋势。

损失曲线 #

损失示例输出 #

Epoch:1/500 AVG Training Loss:16.40108 AVG Valid Loss:22.40100

Best validation loss: 22.400997797648113

Saving best model for epoch 1

Epoch:2/500 AVG Training Loss:16.42522 AVG Valid Loss:22.40100
Epoch:3/500 AVG Training Loss:16.40599 AVG Valid Loss:22.40100
Epoch:4/500 AVG Training Loss:16.40175 AVG Valid Loss:22.40100
Epoch:5/500 AVG Training Loss:16.42198 AVG Valid Loss:22.40101
Epoch:6/500 AVG Training Loss:16.41907 AVG Valid Loss:22.40101
Epoch:7/500 AVG Training Loss:16.42531 AVG Valid Loss:22.40101

• 调整为少量样本训练，模型可过拟合，确认网络代码无问题：
  
• 调整学习率（尝试1e-3、1e-4、1e-5、1e-6），损失曲线仍无变化
• 更换优化器为SGD，问题依旧

结合无线I-Q数据的特性（非CV/NLP类输入），从以下方向排查：

1. Conv-LSTM输入维度适配问题 #

Conv-LSTM原生为CV时序数据（如视频帧，含H×W空间维度）设计，而无线I-Q数据多为一维时序（单步为2维I/Q向量），直接输入会导致卷积操作无法有效提取特征：

• 将单步I-Q数据重塑为伪二维结构（如把时序窗口内的I/Q序列排列成N×2的矩阵，N为历史步数），为Conv-LSTM提供可卷积的空间维度；
• 改用“CNN提取单步I-Q特征 + LSTM建模时序依赖”的混合结构，避开Conv-LSTM对空间维度的要求。

2. 时序窗口与输入格式校验 #

• 确认历史窗口长度是否合理：若窗口过长或数据本身时序相关性弱，Conv-LSTM无法学到有效依赖；
• 校验输入张量维度是否符合Conv-LSTM要求（通常为(batch_size, seq_len, channels, height, width)），避免时序维度、通道维度顺序错误导致模型无法处理时序信息。

3. 损失函数与数据归一化优化 #

• 对回归目标做标准化/归一化（如缩放到[0,1]或均值为0方差为1），避免因目标数值范围过大导致梯度消失；
• 尝试替换为MSE Loss，其线性梯度特性可能更易驱动模型参数更新。

4. 输出层结构适配 #

• 确认回归输出层无多余激活函数（除非目标有明确范围限制），避免激活函数截断输出范围导致损失无法下降；
• 检查输出层维度是否与回归目标维度完全匹配。

5. 数据加载与时序一致性校验 #

• 确保训练/验证集的时序划分正确，不随机打乱时序样本，保持数据的时间顺序；
• 检查所有时序步（历史+当前）是否都应用了相同的归一化规则，避免数据分布不一致。

内容的提问来源于stack exchange，提问作者crownZ