使用NSight Compute能否针对特定内存区域统计GPU缓存命中/缺失率？

答案是肯定的——你完全可以用NSight Compute检查特定内存区域的缓存命中率，并且能在不改变内核原有运行逻辑的前提下，只统计目标缓冲区的缓存命中/缺失数据。

具体操作方法 #

1. 利用地址范围过滤功能 #

NSight Compute内置了地址范围过滤机制，能精准限定性能指标的统计范围：

• 打开NSight Compute，加载你的CUDA程序并选中要分析的内核。
• 在Profiling Controls面板里找到Address Ranges选项（一般在Metrics或Filters分类下）。
• 输入目标缓冲区的起始和结束地址：你可以从代码里cudaMalloc返回的指针获取起始地址，再结合缓冲区大小算出结束地址（起始地址 + 缓冲区字节数）。
• 勾选需要统计的缓存相关指标，比如L1纹理缓存的l1tex__t_sectors_hit、l1tex__t_sectors_missed，或者L2缓存的l2__t_sectors_hit、l2__t_sectors_missed。

2. 内核运行状态不受影响 #

这种过滤是在分析阶段做的，内核会正常执行所有内存读取操作，NSight Compute只是自动忽略非目标地址范围的访问数据，只保留你关心的缓冲区的统计结果。

3. 计算并验证命中率 #

分析完成后，在Metrics面板里查看过滤后的指标，用下面的公式计算命中率：

缓存命中率 = 命中次数 / (命中次数 + 缺失次数)

直接对比这个结果就能确认目标缓冲区的缓存命中情况。

注意点 #

• 地址范围必须准确：要确保起始和结束地址完全覆盖目标缓冲区，别漏了或者包含了无关内存区域。
• 命令行方式补充：如果你的NSight Compute版本没有图形界面的地址范围选项，可以用命令行工具ncu加上--address-range参数来指定，比如：

  ncu --address-range 0x12340000-0x1234FFFF --metrics l1tex__t_sectors_hit,l1tex__t_sectors_missed your_app
  

• 适配GPU架构：不同GPU架构的缓存指标名称可能稍有不同，比如安培和图灵架构的指标命名有差异，要参考对应架构的NSight Compute文档选对指标。

内容的提问来源于stack exchange，提问作者einpoklum