CUDA中atomicInc()的适用场景、使用原因及性能优势

适用场景 #

atomicInc()是专门为带上限的循环递增逻辑设计的原子操作，最常见的应用场景包括：

• 环形缓冲区/无锁循环队列的索引维护：这是最匹配该函数语义的场景。比如多线程场景下的生产者-消费者模型，当队列长度为M时，传入val = M-1，即可自动完成写指针/读指针的递增、到尾后自动回绕到0的逻辑，不需要额外写溢出判断，也不会出现索引越界。而且函数直接返回操作前的旧值，刚好就是当前线程拿到的可用位置索引，省去一次额外的内存读，完全避免竞态。
• 固定大小资源池的轮询分配：如果预先分配了固定数量的资源（比如临时内存块、CUDA流、事件对象、任务槽），需要在大量线程间无锁轮询分配资源时，用atomicInc()可以实现无冲突的轮转分配，不会出现资源ID越界的问题。
• 循环计数类逻辑：比如每触发N次操作执行一次采样/日志打印、最多统计N次事件就停止计数、warp内轮转做规约操作这类需要循环计数的场景，用该函数可以省去手动取模、判断溢出的逻辑。
• 有界同步原语实现：比如实现固定大小的信号量、循环屏障这类同步结构时，用atomicInc()做计数比通用原子操作写出来的逻辑更简洁。

是否属于常用代码模式 #

是CUDA无锁高性能编程中非常经典的常用模式。
但凡涉及到动态工作调度、流处理、零拷贝队列、高性能资源管理的CUDA内核，基本都会用到这个操作，CUB等基础高性能库的内部实现中也大量使用该函数。相比自己拼接通用原子操作实现相同逻辑，直接用atomicInc()的代码可读性更高，也不容易出现竞态条件类的bug。

硬件支撑与性能表现 #

所有计算能力1.1及以上的CUDA设备，都为atomicInc()提供了专用的原生硬件指令支持，并非通过通用原子指令模拟。
你可以自己用atomicCAS()实现等效逻辑，代码大致如下：

unsigned int custom_atomicInc(unsigned int* addr, unsigned int val) {
    unsigned int old_val = *addr;
    unsigned int assume;
    do {
        assume = old_val;
        unsigned int new_val = (old_val >= val) ? 0 : (old_val + 1);
        old_val = atomicCAS(addr, assume, new_val);
    } while (assume != old_val);
    return old_val;
}

这个基于CAS循环的实现，在高内存竞争场景下会出现大量重试：只要两个线程同时进入循环，就会有至少一个线程CAS失败，需要重新读取值、计算新值、再次尝试CAS，竞争越剧烈重试次数越多，性能下降越明显。
而原生atomicInc()的读-计算-写全流程在单个原子事务中由硬件完成，不需要软件层的循环重试，高竞争场景下性能通常是上述CAS实现版本的2~5倍，即使在低竞争场景下，也因为没有分支判断、不需要多次执行原子指令，延迟比自定义实现低30%以上。

注：使用时需要注意参数匹配：atomicInc(&x, val)的回绕条件是old >= val，如果要实现x = (x+1) % M的效果，需要传入val = M-1，不要直接传M，否则会出现计数到M才回绕的逻辑错误。

内容的提问来源于stack exchange，提问作者equatorialsnowfall