CUDA粒子模拟：固定邻居列表下全局内存访问优化咨询

问题背景 #

• 基于粒子的模拟代码，邻居列表仅在初始生成后固定（对应初始位置的“键”），但粒子位置随模拟变化，长期模拟后邻居可能相距较远
• 每个粒子最大邻居数限制为MAX_NEIGHBOR，用数组Neighbors[N*MAX_NEIGHBOR]存储邻居索引，第i个粒子的邻居对应Neighbors[i*MAX_NEIGHBOR : (i+1)*MAX_NEIGHBOR]（Python范围表示）
• 当前对Quantity[N]数组的访问是非合并的，Neighbors数组全程固定，希望优化内存访问效率
• 曾尝试预生成NeighborsQuantity[N*MAX_NEIGHBORS]数组实现合并访问，但生成时仍需非合并读取；且texture memory不支持double3类型
• 基础实现calcBondAccelD在3090 Ti上可处理10万~100万粒子，但希望进一步提速；尝试过共享内存+并行归约的calcBondAccelD2，仅获小幅提升，内存访问仍未合并

优化建议 #

1. 重构邻居列表存储布局为列优先，实现合并访问 #

当前Neighbors是行优先的粒子-邻居矩阵（每个粒子的邻居连续存储），导致线程访问Quantity时索引分散，无法合并。改为列优先存储：将所有粒子的第k个邻居索引连续存放在Neighbors[k*N : (k+1)*N]区域。这样同一warp的线程处理不同粒子的同一位置邻居时，对Quantity的访问是连续的，天然满足合并访问要求。

• 补充：邻居数不足MAX_NEIGHBOR的粒子，用无效索引（如-1）填充，线程处理时直接跳过即可。

2. 利用只读缓存优化固定邻居列表的访问 #

将Neighbors数组声明为__restrict__ const，CUDA编译器会自动将其放入只读数据缓存，大幅提升重复访问的效率。配合列优先存储，让warp内线程访问连续的Neighbors内存块，进一步放大缓存收益。

3. 批量预加载Quantity到共享内存 #

针对列优先的邻居列表，每个block可以先协同加载一批连续的Quantity元素到共享内存：

• 例如，block负责处理M个粒子的第k个邻居，先让block内线程合并读取这M个邻居对应的Quantity值到共享内存，再从共享内存读取进行计算。这样将多次非合并全局访问转化为一次合并访问，再通过低延迟的共享内存完成后续操作。
• 注意：共享内存大小要对齐到CUDA的内存对齐要求（如16/32字节），避免银行冲突。

4. 用CUDA 11+扩展纹理或表面内存处理double3 #

传统纹理内存不支持double3，但可以采用两种替代方案：

• 将double3拆分为三个独立的double数组，分别绑定到纹理内存，读取时再组合成double3结构；
• 使用表面内存（Surface Memory），它支持任意格式的结构化数据访问，适合不规则内存访问的缓存场景。

5. 调整线程粒度：每个线程处理单个邻居而非单个粒子 #

避免每个线程处理单个粒子的所有邻居，改为每个线程负责单个粒子的一个邻居。结合列优先存储，同一warp的线程处理的是不同粒子的同一邻居索引，对Quantity的访问自然连续，实现合并。对于无效邻居索引，线程直接跳过，减少分支发散。

6. 开启编译器优化选项 #

编译时添加以下选项，进一步挖掘性能潜力：

• -O3：启用最高级别代码优化
• -use_fast_math：若模拟对精度要求不极端严格，启用快速数学库加速计算
• -Xptxas -dlcm=cg：将全局内存访问缓存到L1和L2，适配重复访问场景

内容的提问来源于stack exchange，提问作者Sangjun Lee