如何在CUBLAS批处理操作中复用矩阵以节省内存？

核心方案：直接在设备端生成重复的B指针数组 #

不需要在主机端创建全是重复B指针的数组，而是直接在设备端分配指针数组，通过一次内存拷贝将同一个B矩阵的设备地址填充到整个数组中——既节省主机端内存，代码也更简洁：

// 假设d_B是已分配并初始化完成的B矩阵设备指针
double **d_BPtr;
// 分配设备端指针数组，容量为numBatch个指针
cudaMalloc(&d_BPtr, numBatch * sizeof(double*));
// 将单个B指针重复拷贝到设备数组的所有位置
cudaMemcpy(d_BPtr, &d_B, numBatch * sizeof(double*), cudaMemcpyHostToDevice);

原理：所有batch需要的B指针都是同一个值，cudaMemcpy会把&d_B指向的8字节（64位系统）内容重复拷贝numBatch次，填充整个d_BPtr数组，完全满足cublas<t>gemmBatched的要求，且不会额外占用设备端的矩阵内存（仅重复指针，不复制矩阵数据）。

循环拷贝指针失败的原因修正 #

如果之前尝试循环拷贝没成功，大概率是目标地址写法错误。正确的循环拷贝方式需要将指针写入数组的对应索引位置：

double **d_BPtr;
cudaMalloc(&d_BPtr, numBatch * sizeof(double*));
for (int i = 0; i < numBatch; ++i) {
    // 目标地址为d_BPtr数组的第i个元素，即d_BPtr + i
    cudaMemcpy(d_BPtr + i, &d_B, sizeof(double*), cudaMemcpyHostToDevice);
}

若之前写成cudaMemcpy(d_BPtr, &d_B, ...)，会导致每次都覆盖数组第一个元素，最终只有第一个batch使用正确的B指针，其余批量运算会出错。

进阶方案：用CUBLASLt实现更灵活的批量处理 #

如果场景需要混合复用A/B矩阵或更灵活的批量配置，可以考虑使用CUBLASLt的cublasLtMatmul API。它支持通过cublasLtMatmulDescSetAttribute配置批量参数，直接为每个batch指定独立的A/B/C指针，天然支持复用单个矩阵指针，无需额外处理指针数组。不过该API配置相对复杂，适合对性能或灵活性有更高要求的场景。

内容的提问来源于stack exchange，提问作者Sangjun Lee