同一PyTorch模型在不同数据集训练后推理时间差异显著

• 参数数值分布差异：不同数据集训练出的模型参数，数值范围、稀疏性可能差很多。比如某组参数有大量极端值，浮点运算耗时会猛增；要是其中一个模型参数稀疏度高（很多值接近0）但没开稀疏矩阵优化，也会拉开耗时差距。
• 推理配置/设备不一致：检查俩模型推理时是不是用了同一设备（CPU/GPU），GPU推理有没有开torch.backends.cudnn.benchmark，是不是用了不同精度（比如一个FP32，另一个FP16/INT8量化），这些配置差直接会导致耗时差出数量级。
• 模型加载状态不对：保存模型时有没有把eval()状态存进去？要是其中一个模型加载后还在train()模式，会保留dropout、batch norm的训练态计算，这些额外操作会大幅拖慢推理速度。另外也得看加载时的map_location是不是一致，设备切换会带来额外开销。
• 输入数据差异：推理用的输入张量形状、批次大小是不是一样？要是一个模型输入更大的batch或者更高分辨率的张量，耗时自然会飙升。还有输入数据的dtype（比如一个float32，一个float64）也会影响运算速度。
• 模型结构隐性变化：虽然初始模型一样，但训练时有没有动态改结构的操作？比如某些分支在特定数据集下被冻结或激活，导致实际推理的计算图复杂度不同。比如用了带条件判断的动态图，不同数据集训练后触发的分支逻辑不一样，计算量差很多。
• 环境版本差异：俩模型推理时的PyTorch、CUDA/CUDNN版本是不是一致？不同版本的算子实现效率差很大，比如旧版本对某些算子优化不足，会让其中一个模型推理耗时剧增。

内容的提问来源于stack exchange，提问作者SamAtWork