CUDA如何实现特定内存访问跳过L1缓存或即时更新缓存？

问题核心 #

多个线程块的L1缓存相互独立，一个线程块执行update()的写入操作仅会更新自身的L1缓存，不会自动同步到其他线程块的L1缓存。后续其他线程块的线程执行checkCondition()时，可能从自身L1缓存读取到过期数据，导致逻辑错误。禁用L1缓存虽能解决问题，但会大幅降低性能，以下是更优的替代方案：

解决方案1：显式使用缓存绕过指令读取关键数据 #

在checkCondition()中读取需要保证最新值的内存地址时，使用CUDA提供的__ldcg()函数（CUDA 7.0及以上版本支持）。该函数会绕过L1缓存，直接从L2缓存或全局内存读取数据，确保获取的是全局内存中的最新值，同时不影响其他数据的L1缓存使用。

示例修改：

bool checkCondition() {
    // 替换原读取操作，用__ldcg()读取关键地址
    int val = __ldcg(&global_data[key]);
    return val == expected_value;
}

解决方案2：写入后显式刷新缓存并同步 #

在update()完成数据写入后，添加全局内存栅栏__threadfence()，确保当前线程的写入操作被刷新到全局内存，并且对所有其他线程可见。同时，在释放锁之前执行该操作，保证后续线程获取锁后读取的是最新数据。

示例修改：

void update() {
    global_data[key] = new_value;
    // 确保写入刷新到全局内存，对所有线程块可见
    __threadfence();
}

解决方案3：使用PTX缓存修饰符（底层控制） #

如果需要更精细的控制，可以直接在代码中使用PTX缓存修饰符：

• 读取时，在内存地址前添加__ld_global_cg()（等价于__ldcg()），强制绕过L1缓存；
• 写入时，使用__st_global_cg()将数据直接写入全局内存并使其他缓存中的对应行无效。

示例：

// 读取操作
int val = __ld_global_cg(&global_data[key]);
// 写入操作
__st_global_cg(&global_data[key], new_value);

注意事项 #

• 确保你的锁机制是基于全局内存实现的，共享内存锁仅能在单个线程块内生效，跨线程块必须使用全局内存锁；
• 上述操作会带来一定的性能开销，但远小于完全禁用L1缓存的损失，可根据实际场景选择最合适的方案；
• 若使用__threadfence()，注意不要过度使用，仅在必要的写入后添加，避免不必要的性能损耗。

内容的提问来源于stack exchange，提问作者Yoogi Kovendhan