为何PyTorch hook函数未被执行、无法正常生效？

• 注册的hook未被持有被垃圾回收：PyTorch不会自动保留hook的强引用，注册后如果没有把返回的句柄赋值给变量持久化保存，hook会被GC回收，不会触发执行
• hook类型和执行流程不匹配：register_forward_hook仅在前向传播阶段触发，register_backward_hook/register_full_backward_hook仅在反向梯度回传阶段触发，注册类型和实际运行的流程不符则不会生效
• 执行上下文不匹配：在torch.no_grad()、torch.inference_mode()等无梯度上下文内运行时，反向传播不会执行，对应的反向hook完全不会触发，部分依赖梯度逻辑的前向hook也会运行异常
• hook函数本身存在错误：前向hook要求传入module、input、output三个参数，反向hook要求传入module、grad_input、grad_output三个参数，参数数量不符、内部逻辑抛出未被捕获的异常，都会导致hook看起来没有正常运行
• 注册对象为TorchScript模型：经过torch.jit.trace/torch.jit.script转换的脚本化/序列化模型不支持普通Python hook，注册后不会生效
• 注册hook的模块未实际参与计算：如果注册hook的子模块在前向传播的分支逻辑中没有被调用，或者对应的张量没有梯度回传路径，hook不会被触发
• 张量梯度hook注册条件不满足：给张量注册梯度hook时，张量本身没有设置requires_grad=True，或者计算过程中该张量被从计算图中分离，没有梯度流过对应位置，hook也不会生效

内容的提问来源于stack exchange，提问作者kevin998x