关于tf.keras.constraints的疑问：两种权重处理方式是否等效？

这两种实现完全不一样，你的理解方向是对的，核心差异在于softmax的应用时机和梯度计算逻辑，具体拆解如下：

1. 训练中的执行逻辑 #

• 实现(1)：用kernel_constraint约束权重
  按照Keras的约束规则，WeightsSumOne的__call__方法会在每次梯度更新完成后自动触发：

  1. 模型先计算损失对原始权重的梯度
  2. 优化器用梯度更新原始权重（此时权重还不满足和为1的要求）
  3. 最后把更新后的权重传入约束函数，通过softmax投影成和为1的版本，作为下一轮前向传播的权重
     而且这个流程会在每一轮训练迭代中自动重复，不需要手动写额外代码。

• 实现(2)：手动调用set_weights设置权重
  这段代码只是一次性把初始权重替换成softmax后的结果，之后的训练过程：

  1. 模型基于这个softmax后的权重做前向传播、计算梯度
  2. 优化器直接更新这个权重（不会自动再执行softmax）
     除非你在训练循环里每一步都手动调用set_weights，否则更新后的权重很快就会偏离“和为1”的约束。

2. 梯度计算的本质区别 #

你的判断完全正确，两种方式的梯度计算逻辑天差地别：

• 实现(1)：梯度是针对原始未做softmax的权重计算的——前向传播用的是softmax后的权重，但反向传播的梯度链是连到原始权重的（约束是在梯度更新后才做的投影，不影响梯度计算的源头）。
• 实现(2)：梯度是针对softmax后的权重计算的——因为此时模型的权重已经被替换成softmax的结果，反向传播的梯度直接作用在这个经过变换的张量上。

3. 实际训练效果的差异 #

• 实现(1)能保证每一轮训练后权重都严格满足和为1的约束，这是Keras官方推荐的权重约束方式，适合需要持续维持权重属性的场景。
• 实现(2)只能在调用set_weights的那一瞬间让权重符合约束，后续训练中权重会随着梯度更新逐渐偏离，就算你手动在训练循环里重复执行，也会增加代码复杂度，不符合Keras的训练流程设计。

内容的提问来源于stack exchange，提问作者alryosha