Halide CUDA示例程序运行时长异常及链接错误咨询

一、cuda_mat_mul示例耗时结果是否合理？ #

这个结果完全合理：

• CUBLAS是NVIDIA官方高度优化的矩阵乘法库，针对GPU硬件做了极致定制（比如Tensor Core利用、多级缓存优化等），所以耗时0.42ms远低于Halide实现是正常的。
• Halide手动调度针对矩阵乘法的并行特性做了定制优化（比如分块、线程映射），比Anderson2021自动调度的3.0ms快到1.2ms，符合预期——自动调度是通用策略，无法针对特定算法做100%贴合的优化。
• CPU的Adams2019自动调度耗时4.2ms，GPU自动调度3.0ms、手动调度1.2ms，体现了GPU对并行友好的矩阵乘法任务的加速优势，符合RTX 3050 Ti笔记本GPU和i5-11400H CPU的性能定位。

二、camera_pipe示例GPU首次迭代耗时极长、后续与CPU速度持平的原因 #

1. 首次迭代耗时极长的核心原因 #

GPU首次运行存在大量一次性初始化开销：

• CUDA上下文创建：首次调用CUDA API时，系统会初始化GPU驱动上下文，这个过程在笔记本环境下可能耗时数百毫秒。
• Halide GPU Kernel的JIT编译：Halide默认采用即时编译模式，首次运行时需要将IR编译为GPU二进制Kernel，这个过程包含优化、汇编生成等步骤，耗时占比极高。
• 设备内存分配与首次数据同步：首次将输入数据从CPU拷贝到GPU显存，以及分配输出显存，也会产生额外开销。
  input.set_host_dirty()仅用于标记主机数据已修改需要同步到设备，无法解决初始化阶段的上下文创建、Kernel编译等开销。

2. 后续迭代与CPU速度持平的原因 #

• 任务特性限制GPU优势：camera_pipe是图像处理流水线，包含很多串行依赖的小计算任务（比如去马赛克、色彩校正等），这类任务的并行度远低于矩阵乘法，GPU的大规模并行能力无法充分发挥。
• 数据传输开销抵消GPU计算优势：每次迭代都执行output.copy_to_host()，CPU与GPU之间的数据传输会占用大量时间。对于计算量不大的任务，传输耗时甚至会超过GPU的计算加速收益。
• 笔记本GPU功耗限制：RTX 3050 Ti笔记本GPU存在功耗墙，持续运行时无法保持峰值性能；而i5-11400H是6核12线程的高性能CPU，对中小规模计算任务的处理效率很高。

三、Anderson2021自动调度的链接错误解决 #

这个LNK2005错误是由于重复链接Halide Runtime库导致的：

C:\Users\cordo\source\repos\camera_pipe17\out\build\x64-Debug\camera_pipe_auto_schedule.runtime.lib(camera_pipe_auto_schedule.runtime.obj) : error LNK2005: .weak._ZN6Halide7Runtime8Internal13custom_mallocE.default.halide_internal_aligned_alloc already defined in camera_pipe.runtime.lib(camera_pipe.runtime.obj)

camera_pipe.runtime.lib和camera_pipe_auto_schedule.runtime.lib中都定义了相同的Runtime符号，Windows链接器对这类重复定义的处理能力有限（即使标记为weak符号）。

解决方法：

• 检查CMake配置，确保仅链接一个Runtime库：使用自动调度时，不要同时链接手动调度生成的runtime库。
• 修改编译选项，将Runtime符号设置为真正的弱符号：在Halide编译时添加-fvisibility=hidden或类似选项，避免符号冲突。
• 切换到Release模式编译：Debug模式下编译器不会合并重复符号，Release模式的优化可能会自动消除这类冲突。

内容的提问来源于stack exchange，提问作者Cordovan