PyTorch中不影响反向传播计算图的张量部分值相加方法咨询

一、你的代码是否可行？ #

不行。如果tensor2是开启梯度追踪的张量（requires_grad=True），直接执行tensor1[:, :, :3] += tensor2[:, :, :3]会把tensor2的计算图关联到tensor1上，反向传播时tensor2的梯度会被计算，不符合你“tensor2仅提供数值、不参与计算图构建”的要求。

要实现需求，你需要先剥离tensor2的计算图关联，正确写法如下：

tensor1[:, :, :3] += tensor2[:, :, :3].detach()

（旧写法tensor2[:, :, :3].data也能实现，但现在官方不推荐，原因后面说明）

二、torch.add() 和 .data 的使用场景 #

1. torch.add() #

• 适合需要生成新张量存储加法结果的场景，不会修改原张量。比如result = torch.add(tensor_a, tensor_b)，原tensor_a和tensor_b保持不变。
• 支持更灵活的操作，比如广播运算、指定输出张量、给张量加标量等，是通用的加法API。
• 默认情况下，如果参与运算的张量开启梯度追踪，torch.add()会自动构建计算图；如果不需要某张量参与计算图，搭配detach()即可。

2. .data（不推荐，优先用detach()） #

• 这是旧版本PyTorch的用法，用来获取张量的原始数值张量，该张量不参与计算图构建，反向传播时不会被追踪。
• 但它有安全隐患：如果原张量被in-place修改，.data获取的张量会同步变化，可能导致梯度计算出错。现在官方推荐用detach()，它返回原张量的分离视图，既不参与计算图，也能避免上述隐患。

内容的提问来源于stack exchange，提问作者TechFlow