为何GPU处理Float64数组SVD时速度慢于CPU及优化方案咨询

在Julia和Python环境中测试得到一致结果：GPU执行Float64数组的奇异值分解（SVD）时速度慢于CPU，而Float32数组的测试结果符合预期——GPU速度更快。

Python（PyTorch）基准测试代码 #

import time
import torch
from torch.linalg import svd

f64 = torch.double
f32 = torch.float

cpu = torch.device("cpu")
gpu = torch.device("cuda")


# X = torch.rand(5_000, 10_000, dtype=f32)
X = torch.rand(5_000, 10_000, dtype=f64)

X_cpu = X.to(cpu)
X_gpu = X.to(gpu)

print(X_cpu.type())
# Warmup
U, Sig, Vt = svd(X_cpu, full_matrices = True)
# Timed run (CPU)
t1 = time.perf_counter()
U, Sig, Vt = svd(X_cpu, full_matrices = True)
t2 = time.perf_counter()
print(U.type())


print(X_cpu.type())
# Warmup
U, Sig, Vt = svd(X_gpu, full_matrices = True)
# Timed run (GPU)
t3 = time.perf_counter()
U, Sig, Vt = svd(X_gpu, full_matrices = True)
t4 = time.perf_counter()
print(U.type())

print(f"Time CPU (s): {t2-t1}")
print(f"Time GPU (s): {t4-t3}")

Float64数组测试结果 #

Time CPU (s): 14.52491476599971
Time GPU (s): 56.79755901500175

Float32数组测试结果 #

Time CPU (s): 9.301500292000128
Time GPU (s): 6.969021153003268

尽管GPU仅带来数秒的提速仍略超出预期。

Julia基准测试代码 #

using LinearAlgebra
using Flux
using CUDA
using cuDNN

X = rand(5_000, 10_000)
println("typeof(X): $(typeof(X))") 
# Warmup
U, Sig, V = LinearAlgebra.svd(X)
# Timed run
t1 = time_ns()
U, Sig, V = LinearAlgebra.svd(X)
t2 = time_ns()

println("typeof(U): $(typeof(U))") 

X_gpu = X |> gpu |> f64
println("typeof(X_gpu): $(typeof(X_gpu))") 

# Warmup
U, Sig, V = CUDA.svd!(X_gpu)
# Timed run
t3 = time_ns()
U, Sig, V = CUDA.svd!(X_gpu)
t4 = time_ns()
println("typeof(U): $(typeof(U))") 


println("Time CPU (s): $((t2-t1)/1e9)")
println("Time GPU (s): $((t4-t3)/1e9)")

Float64数组测试结果 #

Time CPU (s): 28.641290506
Time GPU (s): 57.069009417

Float32数组测试结果 #

Time CPU (s): 15.096364932
Time GPU (s): 7.283513658

技术疑问与解答 #

1. 为何Float64数组在GPU上的SVD性能表现极差？NVIDIA 40系列GPU是否与此相关？ #

Float64在GPU上SVD性能差主要有三个核心原因：

• 硬件计算单元占比差异：NVIDIA 40系列消费级GPU的FP64计算单元仅为FP32单元的1/64，而CPU的FP64单元性能通常和FP32单元接近甚至更强，GPU的并行优势在FP64计算中完全无法发挥。
• 算法优化偏向：GPU上的SVD实现针对FP32做了深度并行优化，而FP64版本的优化程度低，部分计算步骤无法适配GPU架构，反而会因为数据传输、内存带宽的额外开销拖慢整体速度。
• 测试规模适配性：5000×10000的矩阵规模下，CPU的SVD实现（通常调用MKL等高度优化的线性代数库）能高效利用多核算力，而GPU的FP64并行效率不足，最终被CPU反超。

2. 有无方法提升GPU上SVD的性能？（尤其针对Float64数组） #

针对Float64数组：

• 改用随机SVD：如果不需要完整的SVD结果，优先使用随机SVD（Randomized SVD），通过随机投影降低矩阵维度，大幅减少计算量，GPU的并行优势能在低维度计算中体现。PyTorch可手动实现或使用第三方库，Julia中RandomizedLinAlg包提供现成实现。
• 优化内存布局：确保GPU上的矩阵是连续存储的（PyTorch用contiguous()，Julia用CUDA.contiguous()），避免内存访问碎片化导致的性能损耗。
• 更换专业级GPU：若必须依赖FP64计算，可选择NVIDIA专业卡（如A100、H100），这类卡的FP64计算单元占比达到FP32的1/2，能显著提升FP64运算性能。

针对Float32数组：

• 确认Tensor Core加速：确保框架开启了Tensor Core加速（通常默认开启），Tensor Core对FP32矩阵运算有专门优化，能进一步挖掘GPU性能。
• 验证full_matrices=False参数：再次检查该参数是否生效，精简版SVD（不生成完整U/V矩阵）能减少内存占用和计算量，部分场景下可提速。
• 批量处理矩阵：将多个待计算SVD的矩阵打包成批量输入，充分利用GPU的并行计算能力，分摊单次计算的启动开销。

内容的提问来源于stack exchange，提问作者Atticus Beachy