谷歌云平台（GCP）训练大型Transformer模型应选择哪款GPU？

针对你硕士论文训练大参数量Transformer的需求，结合GCP提供的GPU型号，优先级排序和适配场景如下：

• NVIDIA A100：首选型号。GCP提供的40GB/80GB显存版本A100是当前所有可选GPU里最适配大参数量Transformer训练的产品，支持BF16/FP8混合精度计算，Tensor Core训练性能是V100的5倍以上，80GB大显存可单卡承载7B参数级模型的训练、或更大batch size的小模型训练，多卡场景支持NVLink高速互联，分布式训练效率远高于其他型号，预算充足直接选该型号即可。
• NVIDIA V100：次选性价比替代。有16GB/32GB显存版本可选，支持FP16混合精度训练，性能优于T4及更旧型号，适合参数规模在1B以内、预算有限的训练场景，多卡组网训练效率也远高于T4。
• NVIDIA T4：仅适合轻量验证。16GB显存，主打低功耗推理场景，训练性能仅为V100的1/3左右，显存不足以承载大参数量模型，仅可用来做小batch的代码验证、小尺寸Transformer的小样本训练，不适合大模型全量训练。
• NVIDIA P100、P4、K80：不推荐用于大模型训练。均为老旧停产型号，训练性能低、显存容量小，仅能用来跑极轻量的测试代码，用来训练大参数量Transformer会消耗大量时间成本，完全不划算。

小提示：如果你的模型参数超过3B，必须优先选A100 80GB版本，否则会出现显存不足无法训练的问题；如果需要多卡并行训练，优先选择GCP提供的带NVLink互联的多卡实例，比普通多卡实例训练速度高30%以上。

内容的提问来源于stack exchange，提问作者Anwarvic