PyTorch参数写入方式及优化器参数操作最优方案问询

待分析代码 #

class MyAlgo(torch.optim.Optimizer):

    def __init__(self, params, model):
        self.model = model

    def step(self, closure = None):
        for name, param in self.model.named_parameters(): 
            param = "a Tensor in size of param"

问题1：能否通过上述方式对model.named_parameters()返回的param进行写入操作？ #

原代码的写法无法实现参数修改：这里的param = "a Tensor in size of param"只是给循环变量param重新赋值，完全没有触碰到模型实际的参数张量。

正确的做法是使用原地操作param.copy_(类Tensor对象)，示例如下：

# 假设new_param是和param同形状的合法Tensor
param.copy_(new_param)

因为model.named_parameters()返回的是模型参数张量的引用，原地操作会直接修改原张量的内存数据，从而真正更新模型参数。

问题2：这种操作参数的方式是否为最优方案？基于self.param_groups的方法是否具备更高的效率优势？ #

直接遍历model.named_parameters()的方式并非最优，更推荐使用PyTorch优化器标准的self.param_groups机制，核心优势如下：

• 效率更高：param_groups是优化器初始化时就整理完成的参数集合，内部已按配置（如学习率、权重衰减）分组，遍历它无需再从模型中遍历所有参数，减少了额外的属性查找开销。
• 符合官方设计规范：PyTorch官方优化器均基于param_groups实现，使用它能让自定义优化器与生态兼容，支持参数分组配置不同的优化策略。
• 逻辑更简洁可控：param_groups中直接存储了参数引用及对应配置信息，遍历可同时获取参数与配置，无需额外从模型中获取元数据。

内容的提问来源于stack exchange，提问作者Neustart