OpenCL如何从主机内存直接初始化本地内存并优化CL_MEM_USE_HOST_PTR性能

直接从主机内存初始化本地内存的可行性 #

OpenCL标准没有提供主机侧直接填充工作组本地内存的原生能力：__local内存的寻址范围完全限定在内核工作组的执行上下文内，主机侧无法直接访问，必须由内核运行时主动写入。
可根据你的设备支持情况选择优化方案：

• 若使用OpenCL 2.0及以上版本且设备支持细粒度共享虚拟内存（SVM），可使用CL_MEM_SVM_FINE_GRAIN_BUFFER标记分配SVM缓冲：主机侧直接写入SVM内存，内核侧需要拷贝到本地内存时，直接从SVM地址读取即可，不需要提前做主机到设备全局内存的全量预拷贝，完全规避CL_MEM_COPY_HOST_PTR触发的设备全局内存写入开销。
• 若你的设备不支持SVM，保留当前CL_MEM_COPY_HOST_PTR方案反而是最优选择：你的推测完全符合驱动实现逻辑，CL_MEM_COPY_HOST_PTR是驱动调用硬件DMA通道做整块连续内存的突发传输，PCIe带宽利用率接近理论峰值，比CL_MEM_USE_HOST_PTR场景下内核按需读取的零散PCIe传输效率高3%~10%是不同硬件平台的普遍表现，额外的全局内存写入开销远低于零散传输带来的性能损失。

CL_MEM_USE_HOST_PTR 只读一次数据的缓存禁用方案 #

标准OpenCL没有提供全局的缓存策略配置接口，缓存行为由硬件架构和驱动决定，可通过平台相关扩展和内存标记优化：

• 内核侧访问对应缓冲区时使用非缓存加载扩展：主流硬件平台都有对应的OpenCL扩展支持绕开缓存的流式读取，例如ARM Mali的arm_read_non_cached内置函数、AMD平台的__amd_non_cached指针修饰符、Intel GPU的非缓存读取专用接口，直接修饰读取操作即可避免缓存写入开销。
• 替换内存创建标记：将CL_MEM_USE_HOST_PTR替换为CL_MEM_ALLOC_HOST_PTR | CL_MEM_HOST_WRITE_ONLY | CL_MEM_HOST_NO_ACCESS的组合，该标记创建的是主机侧固定分页内存，设备端默认使用流式非缓存策略访问，对只读一次的数据场景性能提升明显。
  你之前测试的__constant、__global const标记都会触发驱动提升对应内存的缓存优先级，对只读一次的数据反而会带来额外的缓存淘汰开销，性能低于CL_MEM_COPY_HOST_PTR方案是正常现象。

内容的提问来源于stack exchange，提问作者morgwai