为何PyTorch Linear模块反向传播速度略快于前向传播？

• 前向的额外存储开销：前向计算A @ B = C时，PyTorch需要保存输入A、B的完整数据用于反向求导，这部分内存分配、数据写入的开销会占用额外时间。而反向传播时，这些数据已经在内存/显存中，无需再做存储准备，直接进入计算环节。
• 反向计算的针对性优化：Autograd对矩阵乘法的反向逻辑做了深度优化。计算dC/dA = grad @ B.T和dC/dB = A.T @ grad时，底层会利用硬件（如CUDA张量核心）的并行能力，将两次乘法的调度、数据传输做合并处理，实际执行效率远高于单独执行两次矩阵乘法的总和。
• 缓存命中率差异：前向传播时，输入张量可能是第一次加载到CPU/GPU的缓存中，缓存命中率较低；反向传播时，涉及的张量（如保存的A、B，以及梯度张量）已经在缓存内，数据读取延迟大幅降低，抵消了计算量的劣势。
• 测量环节的干扰因素：如果测量时没有处理好同步问题（比如CUDA流的异步执行），会导致时间统计偏差。例如前向传播后未调用synchronize()，实际计算还在后台运行，此时统计的前向时间偏短；而反向传播会触发隐式同步，统计的时间更接近真实值，最终导致两者差异被缩小。

内容的提问来源于stack exchange，提问作者李文昊