CUDA并行过滤uint32_t整数的可行实现与并发正确性保障问询
面向Jetson TX1(计算能力5.3)的uint32_t全空间并行过滤实现方案
任务与现存问题
- 核心任务:遍历全量uint32_t取值,通过自定义谓词函数(
uint32_t -> bool)筛选出符合条件的整数,结果存入设备端数组,已知符合条件的元素最大数量约15000个 - 原实现的问题:Host端串行for循环完成过滤的执行效率过低,无法满足实际性能要求
- 核心待解决问题:并行核函数实现过滤时,需要在多线程并发写入结果数组的场景下,同时保证写入位置索引的正确性、尽可能降低并发开销,适配计算能力5.3的硬件特性
可直接落地的标准实现
内存布局调整
注意:原本计划使用的
__constant__内存为设备端只读内存,仅支持Host端写入初始化,无法被核函数直接写入,因此调整为如下内存分配方式,完全匹配原设计意图:
- 结果存储数组:在
__device__全局内存上按15000个元素的上限预留空间,核函数执行完成后,可将数组数据拷贝回Host端,再按需同步到__constant__空间供后续只读访问 - 全局位置计数器:1个uint32_t类型的全局内存变量,用于记录已写入的结果数量,核函数启动前由Host端重置为0
核函数执行逻辑
- 线程映射:每个线程的全局线程ID直接对应需要判定的uint32_t值,覆盖全部2^32个可能的取值
- 判定流程:每个线程拿到对应uint32_t值后,执行内联定义的谓词函数完成判定
- 命中后的写入流程:
- 若判定结果为真,调用32位原子操作
atomicAdd对全局计数器执行递增,拿到递增前的计数值作为当前结果的写入索引 - 将当前uint32_t值写入结果数组的对应索引位置
- 若判定结果为真,调用32位原子操作
针对本场景的性能优化(适配TX1硬件)
- 无需引入复杂的流压缩逻辑:本场景下符合条件的元素最多15000个,相对于42亿个待判定元素的总规模,命中率不足0.0004%,全局原子操作的总调用次数极少,不会成为性能瓶颈
- 线程配置优化:将线程块大小设置为256,匹配Maxwell架构(计算能力5.3)的warp调度粒度(单warp 32线程,8个warp组成一个线程块),减少调度开销
- 谓词函数优化:将谓词定义为
__device__ __forceinline__类型,消除函数调用开销,最大化编译器优化收益 - 内存安全兜底:原子操作拿到写入索引后,先判断索引值是否小于结果数组的最大容量上限,若超出则放弃写入,避免内存越界
方案性能对比
- 原Host端串行循环:遍历42亿个uint32值的耗时通常在数秒级,且会持续占用CPU资源
- 上述并行核函数方案:在TX1硬件上的整体执行耗时可压缩到毫秒级,性能比Host端串行方案提升3个数量级以上,且运行在GPU上不会抢占CPU的实时任务资源
内容的提问来源于stack exchange,提问作者Daniel Lovasko
相关产品推荐
相关产品推荐

