You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

GPU训练速度为何慢于CPU?附CatBoost测试案例与硬件配置

为啥GPU训练反而比CPU慢?

这事儿其实挺常见的,尤其是你用这么小的数据集测试的时候,核心原因主要有这几点:

  • GPU的并行优势需要足够大的数据才能发挥
    GPU天生是为大规模并行计算设计的,就像一个能同时处理上百份任务的工厂,但你现在只给它4个样本的“小订单”,它连生产线都还没完全启动,任务就干完了。而CPU处理这种小任务时,不需要复杂的调度,直接就能快速完成,自然显得更快。

  • 数据传输的额外开销拖了后腿
    用GPU训练时,数据得先从你的系统内存(32GB那部分)拷贝到GPU的显存(RTX 2070的8GB显存)里,训练环节结束后还要完成反向传输(哪怕这个案例里没多少返回数据)。对于这么小的数据集,传输数据的时间甚至比GPU实际计算的时间还长,反而帮了倒忙。

  • GPU模式的初始化成本太高
    当你把CatBoost的task_type设为GPU时,程序需要初始化CUDA环境、加载对应的GPU计算内核、做设备调度这些准备工作,这些都是固定的时间开销。你这次测试只跑了1000次迭代,这些初始化的时间占了总耗时的大头,而CPU模式几乎没这些额外启动成本,速度自然就上去了。

要是你换成几万甚至几十万样本的真实数据集,你就能明显看到RTX 2070的优势了,那时候GPU的并行计算能力才能真正跑起来,速度绝对能碾压你的Ryzen 7 1700。

内容的提问来源于stack exchange,提问作者Кирилл Мойса

火山引擎 最新活动