训练与推理模型半精度选型：如何选择BFLOAT16与FLOAT16

二者均为16比特（2字节）的浮点数格式，核心差异在指数位和尾数位的分配：

对应数值范围及精度表现：

• BF16：数值范围约1.18e-38 ~ 3.40e38，十进制有效位数3位
• FP16：数值范围约5.96e-8 ~ 65504，十进制有效位数4位

核心选型依据 #

优先选择BF16的场景 #

• 模型数值动态范围大：比如大语言模型、扩散模型这类推理过程中容易出现大数值激活的场景，BF16的指数位宽和FP32完全一致，几乎不会出现上溢出报错的问题，也不需要额外做损失缩放、数值归一化这类适配操作
• 硬件原生支持BF16：比如Ampere及以上架构的NVIDIA GPU、谷歌TPU、新一代ARM服务器芯片，BF16的理论运算吞吐和FP16持平，且FP32模型转BF16只需直接截断低16位，适配成本极低，很少出现推理结果崩坏的问题
• 快速验证推理效果：BF16对模型权重的容忍度更高，微调后的FP32模型基本可以直接转BF16跑通推理，不需要额外调参适配

优先选择FP16的场景 #

• 对小数值精度要求高：比如医疗影像推理、科学计算类模型，FP16的尾数比BF16多3位，小数值的精度表现更好，能保留更多细分特征
• 硬件不支持BF16：比如Turing及更早架构的NVIDIA GPU、大部分边缘端推理芯片，原生仅支持FP16运算，强制使用BF16会触发软件模拟运算，性能反而大幅下降
• 推理输出需要保留精细细节：比如超分辨率、4K图像生成、高精度语音合成类场景，FP16更高的尾数精度可以减少伪影、色差、杂音等精度损失问题

内容的提问来源于stack exchange，提问作者RedFox