TensorFlow Gradient Tape底层工作机制详解：上下文管理器与自动微分

最近看到一段代码，引发了我的兴趣：

with tf.GradientTape() as g:
    y = f(x)

dy_dx = g.gradient(y, x)

（代码参考自TensorFlow官方文档）

这段代码有两点让我感兴趣：

• 使用上下文管理器
• 上下文管理器关闭后即可获取梯度值

我想探究这看似“魔法代码”背后的实现逻辑，具体疑问如下：

• 为何要使用with关键字？
• 计算f(x)后，不同函数的梯度值是如何生成的？

我对上下文管理器的作用已有初步理解：它会触发__enter__和__exit__魔术方法，用于标记梯度计算的起止范围，以此提升效率（仅在需要时计算梯度），API也可设计为.start()和.stop()方法。

但第二点仍存疑惑：我最初以为梯度是数值近似计算，但研究后得知实际采用的是自动微分（Automatic Differentiation），数值方法存在有限精度误差，因此未被采用。

我无法将上下文管理器与自动微分关联起来，同时对自动微分的直观理解也不足：我知道它使用链式法则，但并非符号微分，那TensorFlow具体是如何实现的？（查阅资料后仍未理解它与符号微分链式法则应用的区别）

具体疑问：

• TensorFlow是否通过大量if-elseif语句匹配对应函数？例如遇到matmul(x, y)时，是否内置规则d_matmul_d_arg1 = arg2、d_matmul_d_arg2 = arg1？
• 实际计算梯度值时，是否像计算matmul(x, y)的数值结果那样，通过常规算法运行d_matmul_d_arg1(arg2)？

综上，我想了解TensorFlow Gradient Tape的底层工作流程与具体实现方式。

内容的提问来源于stack exchange，提问作者user2138149