NumPy与PyTorch不同dtype算术运算结果dtype规则疑问

我在使用NumPy时执行如下操作：

import numpy as np
x = np.array([1, 2], dtype=np.float16)
y = np.array(1, dtype=np.float32)
z = x * y
print(z.dtype)

得到的结果是：

float16

但当我调换数据类型后：

x = np.array([1, 2], dtype=np.float32)
y = np.array(1, dtype=np.float16)
z = x * y
print(z.dtype)

结果为：

float32

PyTorch中也出现同样情况：

import torch
xt = torch.tensor([1, 2], dtype=torch.float16)
yt = torch.tensor(1, dtype=torch.float32)
zt = xt * yt
print(zt.dtype)

结果是：

float16

xt = torch.tensor([1, 2], dtype=torch.float32)
yt = torch.tensor(1, dtype=torch.float16)
zt = xt * yt
print(zt.dtype)

结果为：

float32

我原本以为运算结果总会转为更高精度类型，请问为何会出现这种情况？

这个现象的核心原因是框架对“数组与标量（0维数组）运算”的类型转换规则设计：当运算一方是多维数组，另一方是标量（或0维数组）时，框架会优先将标量转换为多维数组的数据类型，而非自动将整个数组提升到更高精度的类型。

具体来说：

• 在第一个NumPy例子中，x是float16的一维数组，y是float32的0维数组（标量）。运算时，NumPy会把y转换为float16类型，再和x做乘法，最终结果保持float16。
• 当调换类型后，x是float32数组，y是float16标量，此时y会被转换为float32，结果自然是float32。

PyTorch遵循完全相同的逻辑——这是框架的有意设计：

1. 避免意外提升数组精度导致内存占用暴涨（比如处理大尺寸的float16张量时，若因一个高精度标量就转为float32，内存会翻倍）；
2. 尊重用户对数组初始 dtype 的选择，默认不做隐式的精度升级，除非用户显式指定。

如果确实需要强制提升到更高精度，可以手动转换数组类型，比如：

# NumPy例子：强制将x转为float32后运算
z = x.astype(np.float32) * y
# PyTorch例子：强制将xt转为float32后运算
zt = xt.to(torch.float32) * yt

另外需要注意：如果运算双方都是多维数组（即使维度不同但可广播），框架会遵循常规的类型提升规则，自动转为精度更高的类型。例如：

# NumPy中两个不同精度的一维数组运算
a = np.array([1,2], dtype=np.float16)
b = np.array([3], dtype=np.float32)
print((a*b).dtype)  # 输出float32

内容的提问来源于stack exchange，提问作者Ozcan