关于Tensor Core实现GEMM的两个技术问题问询

问题1：两个FP16输入做矩阵乘法得到FP32类型的原因 #

• 避免运算精度损失与溢出：两个FP16数值的乘积本身就接近FP16的表达上限，而矩阵乘法的每个输出元素是多对FP16乘积的累加和（4x4矩阵乘场景下单个输出对应16次乘积累加），如果全程用FP16存储中间结果，累加过程极易出现数值溢出，或是精度截断导致最终结果误差超标，无法满足深度学习训练、科学计算等场景的精度要求。
• 这是Tensor Core的硬件设计策略：用FP16作为输入存储格式，充分发挥FP16带宽占用低、算力密度高的优势，同时用FP32承载中间运算与累加结果，平衡性能与精度，避免混合精度运算出现精度退化问题。

问题2：缩放因子alpha与beta的作用 #

• 两个参数是标准BLAS库GEMM接口的约定参数，Tensor Core的GEMM实现遵循这一通用设计，方便原本依赖BLAS接口的业务代码无缝迁移到Tensor Core版本，无需修改上层调用逻辑。
• 支持灵活的业务缩放需求：比如量化感知训练中需要对矩阵乘结果做缩放、正则化场景需要调整矩阵C的权重占比时，都可以直接通过调整alpha、beta实现，不需要额外编写遍历修改矩阵的代码，额外性能开销几乎为零。
• 示例中将两个参数设置为2.0f仅为演示用法，实际使用时可根据业务需求传入任意浮点数值，无需和示例保持一致。

你提供的代码片段就是在累加运算完成后，对结果应用两个缩放因子的逻辑，完全匹配BLAS GEMM的通用计算规则 D = alpha * A@B + beta * C。

内容的提问来源于stack exchange，提问作者jake y