You need to enable JavaScript to run this app. 深度学习新手使用LSTM RNN预测斐波那契序列的高损失及相关疑问
优惠活动
大模型
产品
解决方案
定价
更多

深度学习新手使用LSTM RNN预测斐波那契序列的高损失及相关疑问

斐波那契序列LSTM预测的损失异常排查与疑问解答

你运行代码得到的损失值飘到3.5e19量级,是典型的数值发散问题,结合你的三个疑问逐点说明:

关于LSTM输入形状的疑问

  • LSTM要求(batch_size, timesteps, input_dim)的三维输入,是由其循环时序的核心机制决定的:模型会顺着timesteps维度逐次读入序列信息,每个时间步上并行接收的特征数就是input_dim,而batch_size是单次并行计算的样本总数,三个维度缺一不可。
  • 你当前构造的样本是将连续两个斐波那契数作为同一时间步的两个并行特征,这种场景下timesteps取1是完全成立的——只不过这种构造相当于放弃了LSTM的时序滚动能力,退化成了普通的全连接映射任务,模型不会在两个输入数之间建立时序关联,只会把两个数当成同一时刻的两个独立特征做计算。

关于LSTM的units参数设置

  • units对应的是LSTM层内部隐藏状态的向量长度,也就是模型会维护多长的内部记忆向量,并不是必须设置为1。
  • 你认为“units=1时两个输入对应的权重都应为1”的理解存在偏差:LSTM内置了sigmoid、tanh等非线性激活门控,就算输入权重为1,输出也不会简单等于两个输入的线性加和,硬卡units=1的配置反而很难拟合这种纯线性的加和规则。
  • 如果你只是想实现“输入两个连续斐波那契数、输出下一个数”的映射,其实普通的全连接线性层拟合效率远高于带非线性的LSTM;如果想要真正发挥LSTM的时序能力,可以把样本构造调整为timesteps=2、input_dim=1,也就是让模型按顺序先读入第一个数、再读入第二个数,顺着时序完成计算。

关于RNN是否适合解决斐波那契预测

  • RNN类模型完全适合解决这类序列预测问题,公开教程用斐波那契做案例,本质是用规则简单的序列演示“模型记忆历史信息完成预测”的核心原理。但要注意斐波那契序列是指数增长的,100个样本的最后一个数值已经达到3.5e20量级,这种原始大数值输入是你模型损失爆炸的核心原因:梯度过大导致权重数值溢出,越训练越偏离,最终损失飘到几十亿亿的量级。

你代码中的具体问题

  • 未对原始序列做归一化/数值压缩:大数值输入会直接导致神经网络训练时数值发散,无论优化器配置多合理都无法收敛。
  • 指标配置错误:斐波那契预测是连续值回归任务,使用accuracy作为指标没有任何参考意义,回归任务无需设置准确率类指标。
  • 训练轮次不合理:10万轮的训练量对这个极简任务来说属于过度设置,在数值未处理的场景下,训练轮次越多发散越严重。
  • 模型配置错配:将时序信息压在同一时间步的两个特征维度上,完全没有发挥LSTM的循环能力,带非线性激活的单元反而比线性层更难拟合纯加和规则。

内容的提问来源于stack exchange,提问作者omrii

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 17:06:05