PyCUDA阈值脚本仅处理部分图像的原因及修复后耗时过高疑问

以下是导致你的PyCUDA脚本运行耗时是同类脚本10倍的核心原因：

• 核函数重复编译
  你的apply_threshold函数每次被调用时，都会通过SourceModule重新编译CUDA核函数。CUDA核函数的编译包含PTX生成、设备代码编译等多个开销极大的步骤，重复编译会直接让程序每次运行都支付这笔高昂的时间成本。正确做法是把核函数编译代码移到函数外部，程序启动时仅编译一次。

• 网格维度计算错误
  代码中计算网格y维度时误用了img_width：

  grid_dim_y = (img_width + block_dim[1] -1) // block_dim[1]
  

  正确的计算应该使用img_height：

  grid_dim_y = (img_height + block_dim[1] -1) // block_dim[1]
  

  这个错误会导致GPU启动的线程块数量不符合实际图像尺寸需求，要么引发不必要的线程调度开销，要么导致线程利用率低下，直接拖慢执行效率。

• 手动内存管理的低效性
  当前代码使用cuda.mem_alloc配合手动memcpy操作管理内存，相比PyCUDA提供的gpuarray，这种方式不仅代码繁琐，还无法利用gpuarray内置的内存对齐、异步传输优化，导致主机与设备之间的数据传输耗时增加。

• 图像数据冗余传输
  虽然你提到修复了灰度图读取问题，但当前代码中img = cv2.imread(img_path)仍默认读取3通道彩色图，即使后续按单通道处理，也会把3倍于实际需求的数据传输到GPU，大幅增加了数据传输的时间开销。必须确保使用cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)读取单通道灰度图。

优化后的代码示例 #

import cv2
import numpy as np
import time
import pycuda.autoinit
import pycuda.driver as cuda
from pycuda.compiler import SourceModule
import pycuda.gpuarray as gpuarray

# 程序启动时仅编译一次核函数
mod = SourceModule("""
    __global__ void ThresholdKernel(
        const int src_sizeX,
        const unsigned char* src,
        const int dst_sizeX,
        const int dst_sizeY,
        unsigned char* dst,
        const int mythreshold) {
            int col = blockIdx.x * blockDim.x + threadIdx.x;
            int row = blockIdx.y * blockDim.y + threadIdx.y;
            if (dst_sizeX <= col || dst_sizeY <= row) return;

            unsigned char src_val = src[row * src_sizeX + col];
            unsigned char dst_val = src_val > mythreshold ? 255 : 0;
            dst[row * dst_sizeX + col] = dst_val;
        }
""")

thresholdkernel = mod.get_function("ThresholdKernel")

def apply_threshold(img_src, img_width, img_height, img_dest, mythreshold):
    block_dim = (32, 8, 1)
    grid_dim_x = (img_width + block_dim[0] - 1) // block_dim[0]
    grid_dim_y = (img_height + block_dim[1] - 1) // block_dim[1]

    thresholdkernel(np.int32(img_width), img_src, np.int32(img_width), np.int32(img_height), 
                    img_dest, np.int32(mythreshold),
                    block=block_dim, grid=(grid_dim_x, grid_dim_y))

mythreshold = 128
img_path = "../images/lena_gray.png"
# 读取单通道灰度图
img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)

if img is None:
    print("Image not found")
    exit()
else:
    height, width = img.shape
    print("Height, width:", height, width)

# 使用gpuarray简化内存管理并利用优化
img_gpu = gpuarray.to_gpu(img)
dest_img = gpuarray.empty_like(img_gpu)

# 计时并等待GPU操作完成
start_time = time.time()
apply_threshold(img_gpu, width, height, dest_img, mythreshold)
cuda.Context.synchronize()
end_time = time.time()
print(f"处理耗时: {end_time - start_time:.4f}秒")

image_result = dest_img.get()

cv2.imshow("Original image", img)
cv2.imshow("Thresholded", image_result)
cv2.waitKey(0)
cv2.destroyAllWindows()

内容的提问来源于stack exchange，提问作者KansaiRobot