You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

多层感知机(MLP)输入层权重在反向传播学习中是否固定为1?

关于MLP输入层权重在反向传播中的变化问题

Great question! Let's break this down clearly and directly:

  • 输入层的权重(比如你提到的W00、W01这类)绝对不会固定为1,它们是MLP模型核心的可训练参数之一,会在反向传播的学习过程中持续更新调整。

  • 背后的逻辑很直观:MLP的学习流程是先通过前向传播计算预测结果,和真实标签对比得到损失值;接着通过反向传播算出损失对每一个权重的梯度;最后用优化器(比如SGD、Adam)根据梯度更新所有可训练权重——这其中就包括输入层到隐藏层的权重、隐藏层之间的权重、输出层权重,甚至偏置项。

  • 额外提个小细节:这些权重在模型初始化时,一般会用随机策略(比如Xavier初始化、He初始化)赋值,而非设为1。固定为1会直接破坏模型的学习能力,导致梯度更新出现异常。只有在极少数特殊场景下(比如你手动冻结某部分权重禁止其更新),才会出现权重固定的情况,但这完全不是反向传播学习的默认行为。

内容的提问来源于stack exchange,提问作者ARK1375

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.05.08 14:02:36