Vulkan计算着色器：GPU与主机间Buffer高效传输优化问询

问题背景 #

我正使用Vulkan进行GPGPU开发，目标是运行计算着色器处理数据块并将结果写入同一Buffer，但在GTX 1070上难以获得理想性能。主机侧高分辨率时钟测量显示，取回Buffer数据的耗时占比极高，整体性能远逊于纯CPU方案。

当前数据传输流程与代码 #

主机到GPU的数据传输代码 #

VkBuffer stagingBuffer;
VkDeviceMemory stagingBufferMemory;
createBuffer(size, VK_BUFFER_USAGE_TRANSFER_SRC_BIT,
  VK_MEMORY_PROPERTY_HOST_VISIBLE_BIT | VK_MEMORY_PROPERTY_HOST_COHERENT_BIT,
  stagingBuffer, stagingBufferMemory);

void* bufferData = nullptr;
vkMapMemory(m_device, stagingBufferMemory, 0, size, 0, &bufferData);
memcpy(bufferData, data, size);
vkUnmapMemory(m_device, stagingBufferMemory);

VkBufferUsageFlags usage = VK_BUFFER_USAGE_TRANSFER_DST_BIT
                         | VK_BUFFER_USAGE_TRANSFER_SRC_BIT
                         | VK_BUFFER_USAGE_STORAGE_BUFFER_BIT;
createBuffer(size, usage, VK_MEMORY_PROPERTY_DEVICE_LOCAL_BIT, m_buffer, m_bufferMemory);

copyBuffer(stagingBuffer, m_buffer, size);

vkDestroyBuffer(m_device, stagingBuffer, nullptr);
vkFreeMemory(m_device, stagingBufferMemory, nullptr);

GPU到主机的数据取回代码 #

VkBuffer stagingBuffer;
VkDeviceMemory stagingBufferMemory;
createBuffer(m_bufferSize, VK_BUFFER_USAGE_TRANSFER_DST_BIT,
  VK_MEMORY_PROPERTY_HOST_VISIBLE_BIT | VK_MEMORY_PROPERTY_HOST_COHERENT_BIT,
  stagingBuffer, stagingBufferMemory);

copyBuffer(m_buffer, stagingBuffer, m_bufferSize);

void* bufferData = nullptr;
vkMapMemory(m_device, stagingBufferMemory, 0, m_bufferSize, 0, &bufferData);
memcpy(data, bufferData, m_bufferSize);
vkUnmapMemory(m_device, stagingBufferMemory);

vkDestroyBuffer(m_device, stagingBuffer, nullptr);
vkFreeMemory(m_device, stagingBufferMemory, nullptr);

性能测试结果 #

Running CPU benchmark...
Running time: 20.875 milliseconds

Running GPU benchmark...
Submit time = 41.817
Execution time = 1.066
Retrieval time = 223.479
Running time: 266.391 milliseconds

当前完整流程 #

• 创建主机可见暂存Buffer和设备本地Buffer
• 将暂存Buffer映射至主机地址空间
• 向暂存Buffer拷贝数据
• 解除暂存Buffer与主机地址空间的映射
• 通过vkCmdCopyBuffer将暂存Buffer拷贝至设备本地Buffer
• 销毁暂存Buffer及其VkDeviceMemory
• 通过录制并提交绑定相关管线和描述符集的命令缓冲区执行着色器
• 再次创建暂存Buffer（尝试复用旧Buffer仅带来微小性能提升）
• 将设备本地Buffer拷贝至暂存Buffer
• 将暂存Buffer映射至主机地址空间
• 从暂存Buffer拷贝数据
• 解除暂存Buffer的映射
• 销毁暂存Buffer及其VkDeviceMemory

优化方案 #

1. 复用暂存Buffer与设备内存，避免频繁创建销毁 #

当前每次传输都创建、销毁暂存Buffer，会带来大量内存分配与同步开销，GTX 1070这类老卡的内存管理 overhead 尤其明显。建议在程序初始化阶段创建好足够大小的主机可见暂存Buffer（输入、输出各一个，或一个通用大暂存区），全程复用，直到程序结束再销毁。复用前需用Fence或Semaphore确保之前的传输操作已完成，避免数据竞争。

2. 改用HOST_CACHED内存属性优化数据取回 #

当前暂存Buffer使用HOST_VISIBLE | HOST_COHERENT属性，该属性强制无缓存传输，速度较慢。对于数据取回场景，改用VK_MEMORY_PROPERTY_HOST_VISIBLE_BIT | VK_MEMORY_PROPERTY_HOST_CACHED_BIT内存属性，利用主机缓存降低读取延迟：

• 主机向GPU写数据时：映射Buffer后执行memcpy，再调用vkFlushMappedMemoryRanges同步缓存，确保数据写入设备内存。
• GPU向主机写数据时：映射Buffer后先调用vkInvalidateMappedMemoryRanges让主机缓存失效，再执行memcpy，确保拿到最新的GPU写入数据。

3. 异步传输与计算重叠，隐藏延迟 #

当前流程串行执行「传输→计算→取回」，可利用Vulkan的队列与同步机制让操作异步重叠：

• 例如在计算着色器执行时，准备下一批数据的主机到GPU传输；或在GPU向暂存Buffer传输数据时，主机处理上一批已取回的数据。需用Semaphore同步传输队列与计算队列（或同一队列的不同命令缓冲区）的操作。

4. 避免不必要的映射/解除映射操作 #

当前每次传输都执行vkMapMemory和vkUnmapMemory，这也是额外开销。可在初始化时就映射暂存Buffer，保持映射状态直到程序结束，后续传输仅需memcpy加必要的缓存同步操作，省去map/unmap的开销。

5. 使用专用传输队列提升效率 #

确认使用带有VK_QUEUE_TRANSFER_BIT标识的专用传输队列，GTX 1070支持独立传输队列，专用队列可避免与计算队列抢资源，提升传输效率。若当前用计算队列执行vkCmdCopyBuffer，建议切换到专用传输队列。

6. 尝试使用统一内存（Unified Memory） #

GTX 1070属于Pascal架构，支持主机可见且设备本地的统一内存（需先查询物理设备内存类型，确认存在同时满足HOST_VISIBLE和DEVICE_LOCAL的内存类型）。若支持，可直接创建该类型的Buffer，跳过暂存Buffer的拷贝步骤：

• 主机直接映射Buffer写入数据，同步后供计算着色器使用；
• 数据取回时直接映射Buffer读取，省去两次拷贝操作，大幅降低传输耗时。

内容的提问来源于stack exchange，提问作者Caius Cosades