使用Numba优化K20 GPU服务器代码触发CompilerError如何解决

你遇到的报错核心是Numba的使用场景完全错误，两个关键问题直接触发编译失败：

• 普通@jit装饰器优先尝试nopython模式编译，失败后回退到object模式，但你整个load_data函数里大量调用Numba无法识别的第三方接口：包括paths.list_images、os路径处理、cv2系列图像处理函数、LabelEncoder、to_categorical都不在Numba的支持范围内，编译过程中就会出现IR层面的非法del指令报错。
• 你需要调用CUDA核心的话，普通@jit根本不会生成CUDA设备代码，就算编译成功也只会跑在CPU上，完全达不到利用GPU的需求。

1. 拆分CPU/GPU逻辑 #

IO操作、文件处理、OpenCV读写、标签编码这类逻辑本身就适合在CPU执行，完全不需要套Numba装饰器，先把这部分逻辑剥离：

import os
import cv2
import numpy as np
from sklearn.preprocessing import LabelEncoder
from tensorflow.keras.utils import to_categorical
from imutils import paths

# 该部分保留在CPU运行，不要加Numba装饰器
def load_data(fname):
    imagePaths = list(paths.list_images('path'+fname))
    data = []
    labels =[]
    for imagePath in imagePaths:
        label = imagePath.split(os.path.sep)[-4]
        image = cv2.imread(imagePath)
        image = cv2.resize(image, (128, 128))
        gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
        data.append(gray)
        labels.append(label)
    data = np.array(data) / 255.0
    labels = np.array(labels)
    lb_encoder = LabelEncoder()
    labels = lb_encoder.fit_transform(labels)
    x = data.reshape(-1,128,128,1).astype('float64')
    y = to_categorical(labels.astype('float64'))
    return (x, y)

2. 仅对计算密集型自定义逻辑写Numba CUDA核函数 #

如果有自定义的图像处理算子（比如自定义滤波、特征提取），单独把这部分数值运算逻辑抽出来，用Numba CUDA接口编写，遵循CUDA编程规范：仅对numpy数组做数值运算，不要调用第三方库接口，手动配置线程参数。
以下是CUDA加速的简单示例：

from numba import cuda

# CUDA核函数，仅处理基础数值运算
@cuda.jit
def custom_image_process(input_arr, output_arr):
    idx = cuda.grid(1)
    if idx < input_arr.size:
        # 这里替换成你自己的图像处理逻辑
        output_arr[idx] = input_arr[idx] * 0.8 + 0.2

# 调用示例
if __name__ == "__main__":
    # 先CPU加载所有数据
    x, y = load_data("test_dir")
    # 数据传入GPU显存
    x_gpu = cuda.to_device(x.flatten())
    output_gpu = cuda.device_array_like(x_gpu)
    # 配置线程参数
    threads_per_block = 256
    blocks_per_grid = (x_gpu.size + threads_per_block - 1) // threads_per_block
    # 调用GPU核函数执行
    custom_image_process[blocks_per_grid, threads_per_block](x_gpu, output_gpu)
    # 结果拷回CPU
    processed_x = output_gpu.copy_to_host().reshape(-1,128,128,1)

3. K20 GPU适配说明 #

K20属于开普勒架构，计算能力为3.5，运行代码前需要指定环境变量避免兼容性问题：

export NUMBA_CUDA_ARCH=35

如果你用到的图像处理逻辑都是OpenCV已有实现的成熟算子，也可以直接编译带CUDA支持的OpenCV版本，调用cv2.cuda模块的接口完成加速，比自行编写Numba核函数效率更高。

内容的提问来源于stack exchange，提问作者Rawan