PyTorch可学习参数全元素更新实现求助（指定初始值与形状）

首先修正代码中的语法错误：

# 原代码的optimizer初始化存在语法错误，修正如下
optimizer = torch.optim.Adam([learnable_parameter], lr=1e-3)

你遇到的问题核心原因是：当参数初始值为0且损失函数对该元素的梯度持续为0时，Adam优化器的一阶矩（m）和二阶矩（v）估计始终为0，导致更新步长为0，参数无法被更新。以下是几种可行的解决方法：

方法1：给损失函数添加极小L2正则项 #

在损失计算时加入一个极小的L2正则项，确保所有参数都能获得非零梯度，触发Adam的更新机制：

# 假设你的原损失计算逻辑为your_original_loss_function(...)
loss = your_original_loss_function(...)
# 添加极小L2正则项，数值可根据实际需求调整
loss += 1e-8 * torch.sum(learnable_parameter ** 2)

这种方法不会改变初始参数值，同时能让所有9个元素在训练过程中被正常更新。

方法2：给初始零元素添加微小随机扰动 #

如果允许初始值接近原零值而非严格零，可以给初始数组的零元素加入极小随机噪声：

import numpy as np
import torch

arr = np.array([[0, 0, 0],
                [0, -1, 0],
                [0, 1, 0]])
# 给所有零元素添加均值为0、方差极小的随机扰动
zero_mask = arr == 0
arr[zero_mask] = np.random.normal(0, 1e-6, size=arr[zero_mask].shape)

arr_tensor = torch.tensor(arr, dtype=torch.float32, device=device).unsqueeze(0).repeat(5, 1, 1, 1, 1)
learnable_parameter = torch.nn.Parameter(arr_tensor)
optimizer = torch.optim.Adam([learnable_parameter], lr=1e-3)

这样初始零元素不再是严格的0，即使初始梯度为0，Adam的矩估计也会逐渐累积，后续若有梯度就能正常更新参数。

方法3：手动给零梯度元素添加微小噪声 #

在反向传播后，手动为梯度为0的参数元素添加极小噪声，强制触发更新：

loss.backward()

# 手动处理梯度，给零梯度元素加微小随机噪声
with torch.no_grad():
    zero_grad_mask = learnable_parameter.grad == 0
    if zero_grad_mask.any():
        learnable_parameter.grad[zero_grad_mask] = torch.randn_like(learnable_parameter.grad[zero_grad_mask]) * 1e-8

optimizer.step()

这种方法直接干预梯度计算，确保所有参数都能获得更新的动力。

内容的提问来源于stack exchange，提问作者BBB