采用官方CUDA示例测试Tesla T4,为何实测远低于65TFLOPS理论值
实测出现10TFLOPS与理论65TFLOPS大幅偏差的核心原因
- 首先要明确,NVIDIA官方的
cudaTensorCoreGemm本质是WMMA API的教学演示样例,从来不是为了跑满硬件峰值算力设计的,这是偏差的最核心来源:- 示例默认的测试矩阵尺寸仅为1024×1024×1024,整段任务总计算量不到2GFLOP。T4跑稳态Tensor Core计算的纯计算耗时仅为几十微秒,但kernel启动、显存初始化的固定开销就占了总计时长的80%左右,把所有固定开销平摊到计算量上算出的TFLOPS值,自然会被严重拉低。
- 示例的Block、Warp划分完全没有匹配T4(SM75架构)的Tensor Core流水设计:每个Block仅分配4个Warp,单SM上驻留的计算线程数远达不到填满Tensor Core指令发射槽的要求,Tensor Core单元大部分时间在等指令、等数据,实际计算占用率仅在15%上下,刚好和你测到的10TFLOPS数值完全匹配。
- 其次是教学示例本身的实现存在天生的性能瓶颈:
- 示例没有实现异步内存预取逻辑,全局显存到共享内存的传输是同步阻塞式的,全程把内存延迟暴露在计算流水里,完全没有做内存加载和Tensor Core计算的重叠,属于典型的内存延迟受限状态,Tensor Core计算单元长期处于等数据的空转状态。
- 示例的共享内存访问没有做Bank冲突优化,部分访存路径存在固定的冲突损耗,进一步拖慢了给计算单元喂数的速度。
- 最后是大部分人跑测试时容易踩的配置坑:
- 编译时没有显式指定T4对应的SM75架构目标,没开
-O3优化参数,甚至直接在调试模式(-G)下编译,导致WMMA对应的mma指令没有生成原生的Tensor Core机器码,部分运算被fallback到普通CUDA Core执行,性能自然大幅跳水。 - 计时流程没做warmup,把第一次运行时的驱动指令缓存加载、显存页映射初始化的开销全算进了有效计算时间里,人为拉长了测得的运行总时长。
- 如果是在vGPU虚拟化环境下使用T4,还可能存在算力配额的限制,但这类场景的压缩比例一般是固定的,和教学示例带来的偏差特征差异较大,可以通过对比纯CUDA Core FP32的实测值排除这类问题。
- 编译时没有显式指定T4对应的SM75架构目标,没开
补充实测经验:要在T4上跑到接近理论峰值的FP16 Tensor Core算力,需要把矩阵规模拉到8192×8192以上,调整GEMM Tile尺寸为128×256×32,加入
cp.async异步预取、访存冲突优化,配合正确的SM75编译参数,才能跑到50TFLOPS以上的实测值,和65TFLOPS的理论峰值保持在20%以内的正常性能损耗区间。
内容的提问来源于stack exchange,提问作者Googra Heeljat
相关产品推荐
相关产品推荐

