PyTorch计算精度疑问：是否计算用float64、存储参数用float32？

你的猜测不属实，PyTorch的默认计算精度与存储精度保持一致，不存在参数存float32、计算自动转float64的默认逻辑。

• 你观测到的float32场景下的小幅差异属于float32精度下的正常舍入误差：float32仅支持6~7位十进制有效数字，你给出的两组结果前7位均为0.0059468，差异出现在第8位，完全符合float32的误差范围。不同框架的算子实现、运算顺序、底层优化（如CUDA核设计、中间缓存精度设置）的细微区别都会导致这类误差。
• 切换为float64后结果高度接近的现象，反而证明两个框架的计算逻辑是对齐的：float64支持15~17位十进制有效数字，你给出的两组结果差异仅出现在第17位，属于双精度下不同实现的正常舍入误差。

你可以通过简单测试自行验证：

import torch
a = torch.randn(1000, dtype=torch.float32)
b = a * 3.14 + 2.718
print(b.dtype) # 输出为torch.float32，计算过程未自动提升精度
print(torch.get_default_dtype()) # 默认输出为torch.float32，符合官方默认配置

只有当输入张量存在混合精度时，PyTorch才会遵循IEEE浮点标准做向上类型提升，比如float32和float64张量共同运算时结果为float64，这属于通用数值计算规则，不是PyTorch特有的默认高精度计算逻辑。

内容的提问来源于stack exchange，提问作者Sam-gege