GPU性能计算器-火山引擎

GPU性能计算器

训练性能预估

推理性能预估

模型配置

需要预估训练性能的模型

seq_len

训练的序列长度

hidden_size

模型隐藏层维度

layer_nums

transformer的层数

ffn_hidden_size

MLP层UP的维度

vocab

词表长度

head_num

Q 头的数量

kv_num

kv头的数量

机型规格

p2p理论带宽 (GB/s)

网卡带宽 (Gb/s)

p2p 效率

网卡send_recive带宽效率

网卡allreduce带宽效率

p2p实际带宽 (GB/s)

网卡send_recive实际带宽 (GB/s)

网卡allreduce实际带宽 (GB/s)

FP16理论算力 (TFLOPS)

算力效率

实际算力 (TFLOPS)

计算节点数量

GPU卡数

GPU单卡显存 (GB)

参数量

训练参数

micro_batch_size

pipeline_parallel

tensor_parallel

data_parallel

global_batch_size

样本数量

token数量

预训练数据量 (GB)

反向传播overlap比例