Falcon模型QLoRA微调中Norm层转FP32及相关精度设置疑问

1. 为啥计算dtype用float16而非bf16，还选32位优化器？ #

• 硬件兼容性优先：bf16只有新架构GPU（比如A100、RTX 30/40系列）原生支持，老的Turing架构卡（像RTX 20系）跑不了bf16。用float16能覆盖更多硬件，让普通用户也能跟着教程练手。
• 优化器稳定性：32位优化器是为了避免梯度更新时的数值问题。半精度优化器很容易出现梯度下溢，导致训练崩掉；32位能保住优化过程的稳定性，再加上paged_adamw的内存分页管理，显存占用也不会涨太多——这是实践里平衡兼容性、显存和稳定性的折中方案，原论文是基于A100这种高端卡的最优配置，教程更偏向普适性。

2. 为啥把Norm层转成FP32，不跟着论文用bf16？ #

• 稳训练比严格遵循论文更重要：Norm层（比如LayerNorm）对数值精度特别敏感，半精度下计算均值、方差很容易丢精度，搞不好训练直接发散。把Norm层切到FP32是业内常用的小技巧，几乎不占额外显存（Norm层参数少得可怜），但能大幅提升训练稳定性。论文的设置是理想状态下的最优解，实际落地时得根据情况做调整。

3. 模型用bf16加载，转Norm层到FP32为啥没报错？ #

• PyTorch会自动做类型转换：PyTorch支持模型各层用不同dtype，前向/反向传播时会自动把输入转换成对应层的dtype再计算，只要运算合法就不会报错。比如bf16的特征传到FP32的Norm层，会自动转成FP32计算，输出再转回bf16和其他层交互——这属于手动控制的混合精度，PyTorch完全支持。

关于没开混合精度却这么设置的困惑 #

这其实是手动实现的混合精度，不是用Trainer的fp16/bf16参数开的自动混合精度（AMP）。手动给不同层设dtype、指定计算精度，比AMP更灵活，能精准照顾到Norm层这种对精度敏感的模块，避免AMP可能出现的兼容性问题，是QLoRA微调里很常见的操作。

内容的提问来源于stack exchange，提问作者Charlie Parker