技术问询：使用指定代码计算模型全局L2梯度范数是否有效？（不裁剪梯度）

你的方法是有效的 #

你用的这段代码确实能有效计算模型全局L2梯度范数，而且不会对梯度做裁剪：

current_gradient_norm = nn.utils.clip_grad_norm_(model.parameters(), max_norm=float('inf'), norm_type=2.0)

clip_grad_norm_的工作逻辑是先计算所有参数梯度的指定范数（这里是L2），只有当该范数超过设定的max_norm时，才会对梯度进行缩放裁剪。当你把max_norm设为float('inf')时，梯度范数永远不可能超过无穷大，因此不会触发任何裁剪操作，函数返回的就是计算出的全局L2梯度范数，完全满足你“仅计算存储范数、不修改梯度”的需求。

更直观的替代方案 #

如果想避开“裁剪”相关的函数（毕竟你的核心需求只是计算范数），可以手动实现范数计算，逻辑更直白：

import torch

def get_global_grad_norm(model):
    # 收集所有存在梯度的参数的梯度张量，展平后拼接
    grad_flattened = torch.cat([p.grad.flatten() for p in model.parameters() if p.grad is not None])
    # 计算L2范数并转为Python数值
    return torch.norm(grad_flattened, p=2).item()

# 使用示例
current_gradient_norm = get_global_grad_norm(model)

这个方法直接遍历模型参数，只处理有梯度的参数，拼接后计算L2范数，结果和用clip_grad_norm_得到的完全一致。

内容的提问来源于stack exchange，提问作者StudentV