为何C++29提案引入std::float8_t、std::int4_t这类极小类型？

这类低精度数据类型的核心价值并非直接用于压缩LLM生成的海量数据，而是为了适配AI模型训练与推理阶段的性能优化需求，主要体现在以下几个方面：

• 降低内存带宽占用：LLM的参数规模动辄数十亿甚至上万亿，使用std::float8_t、std::int4_t替代传统的float或int32_t，能将数据体积压缩到原来的1/4~1/8，大幅减少内存读写的带宽压力，让模型可以在普通硬件上运行更大的参数规模。
• 提升硬件计算效率：当前主流AI加速芯片（如GPU、NPU）已经原生支持低精度计算指令，这类类型能直接匹配硬件的计算单元，避免类型转换带来的开销，显著提升推理和训练的速度。
• 减少存储成本：对于需要离线部署的LLM模型，低精度类型能大幅缩小模型文件的体积，降低存储设备的成本，同时加快模型的加载速度。

当然，在部分场景下，这类类型也可用于压缩LLM生成的中间数据或输出结果，但这只是衍生用途，并非其设计的核心目标。

内容的提问来源于stack exchange，提问作者3CEZVQ