16x粗化CUDA内核：矢量内存访问为何降低全局加载指令？

你观察到的现象本质是CUDA编译器（nvcc）的全局优化行为，尽管两个内核仅在输出存储方式上有差异，但优化器会基于整个内核的指令流做跨阶段优化，最终影响了全局加载指令的数量：

1. 计算-存储流水线的调度优化 #

在非矢量版本的内核中，每个卷积计算完成后立即执行单字节全局存储（output[(tx * cols + _ty)] = ...），这种"计算-存储"的紧耦合会打断指令流水线，编译器无法对加载指令进行批量调度。

而矢量版本中，计算结果先暂存在栈数组vals[16]，最后通过uchar4统一完成4次矢量存储。这种延迟存储的模式让编译器可以：

• 将分散的单字节加载请求合并为更高效的批量访问
• 消除因频繁存储导致的加载指令冗余，比如重复的地址计算和缓存命中优化

2. 中间变量的生命周期优化与寄存器复用 #

矢量版本引入的vals[16]数组会被编译器优先分配到寄存器（而非局部内存），这延长了计算中间结果的生命周期，使得编译器可以：

• 对frame数组的加载操作做跨迭代复用优化，减少重复加载同一内存地址的指令
• 优化shift_left(frame)后的加载逻辑：即使你代码中写的是单字节赋值，编译器也可能自动将连续的单字节加载合并为矢量加载指令，用一条指令替代多条单字节加载

3. 内存对齐的隐性优化 #

矢量存储要求输出地址按uchar4的长度（4字节）对齐，编译器为了适配这种对齐要求，会自动优化输入内存的访问方式：

• 将原本未对齐的单字节加载转换为对齐的矢量加载，从而减少加载指令的总数——一条矢量加载指令可以覆盖多个连续的单字节地址

内容的提问来源于stack exchange，提问作者log0xFF