AVX2实现数组指定位置1性能与SSE2持平的优化咨询

实现了对16位有符号整数数组全元素执行指定位置1的逻辑：目标位为0则置1，原本为1则保持不变。
操作示例：

• 数组初始状态：
  • 索引0: 0000000000000001
  • 索引1: 0000000000000001
  • 索引2: 0000000000000001
• 传入pos=4调用后状态：
  • 索引0: 0000000000010001
  • 索引1: 0000000000010001
  • 索引2: 0000000000010001

在Intel i7 7700K @4.2GHz平台测试，所有实现输出结果均正确，但AVX2版本运行耗时与SSE2版本几乎完全一致，未达到预期的翻倍性能提升；两个SIMD版本相较标量版本已有非常显著的性能优势。

三类实现代码如下：

SSE2版本 #

const int32_t p = static_cast<int32_t>(pos);//Cast to correct type for ISA
__m128i _source, _DESTi;

const __m128i _one = _mm_set1_epi16(static_cast<int16_t>(1));
const __m128i _shifted_left = _mm_slli_epi16(_one, p);      

for (size_t i = 0uz; (i + 8) < end; i += 8)
{
    //Set Values
    _source = _mm_load_si128((__m128i*) & source[i]);
    
    _DESTi = _mm_or_si128(_shifted_left, _source);
                            
    //Store Result
    _mm_store_si128((__m128i*) & source[i], _DESTi);
}//End for

AVX2版本 #

const int32_t p = static_cast<int32_t>(pos);//Cast to correct type for ISA

__m256i _source, _DESTi;                   

const __m256i _one = _mm256_set1_epi16(static_cast<int16_t>(1));
const __m256i _shifted_left = _mm256_slli_epi16(_one, p);

for (size_t i = 0uz; (i + 16) < end; i += 16)
{
    //Set Values
    _source = _mm256_load_si256((__m256i*) &source[i]);

    _DESTi = _mm256_or_si256(_shifted_left, _source);                      

    //Store Result
    _mm256_store_si256((__m256i*)&source[i], _DESTi);
}//End for

标量（Scalar）版本 #

for (size_t i = 0uz; i < end; ++i)
{
    source[i] = (1ull << pos) | source[i];
}

推测AVX512实现可能也不会出现性能提升，但i7-7700K不支持AVX512指令集，无法完成测试，咨询SIMD循环的进一步优化方案。

这个现象是典型的内存带宽绑定负载特征，和指令集宽度没有直接关系：

1. 整个循环的计算量极低，每个元素仅需一次按位或操作，这类简单整数操作的吞吐量在7700K上可以达到每个周期数十次，完全不是性能瓶颈，所有延迟都来自内存/缓存的load和store操作。
2. 7700K为Kaby Lake架构，单store端口每周期最多提交32字节写入，单循环仅处理一个向量的写法下，SSE2每轮写入16字节，AVX2每轮写入32字节，但受限于CPU乱序执行窗口大小，单循环的调度方式没法攒够足够的并行内存请求，SSE2版本已经基本占满了store端口的可用带宽，AVX2自然没法获得翻倍性能。如果测试用的数组较小，完全命中L1缓存，SSE2版本会直接摸到L1缓存的读写带宽天花板，AVX2更难有提升。
3. 现有代码存在两个隐性损耗点：一是循环边界判断错误，i+8 < end/i+16 < end会漏掉末尾元素，也会影响编译器的循环优化判断；二是掩码生成多了一条向量移位指令，完全可以在标量侧提前算好掩码再广播，省掉不必要的向量指令。

1. 修正循环逻辑，补全尾部处理 #

将主循环的边界判断改为i + 步长 <= end，主循环处理完对齐的整块数据后，剩余不足一个向量宽度的元素，用更小宽度的向量或者标量逻辑处理，既避免越界，也能让编译器放心做循环展开优化。

2. 简化掩码生成逻辑 #

位位置pos的有效范围是0-15（对应16位整数的所有位），可以直接在标量侧计算好mask = 1 << pos的16位常量，再直接广播到向量寄存器，省掉原来的向量移位指令，减少不必要的uop。

3. 手动展开循环，提升指令并行度 #

把循环展开2-4路，每轮连续加载多个向量、批量运算、批量存储，让CPU可以同时调度多个内存请求，填满内存控制器的请求队列，真正打满可用带宽。4路展开的AVX2参考实现如下：

// 提前算好16位掩码，直接广播
const int16_t mask = static_cast<int16_t>(1u << pos);
const __m256i vmask = _mm256_set1_epi16(mask);
size_t i = 0;

// 每轮处理4个256位向量，共64个int16元素
for (; i + 64 <= end; i += 64)
{
    // 批量加载
    __m256i v0 = _mm256_loadu_si256((const __m256i*)&source[i]);
    __m256i v1 = _mm256_loadu_si256((const __m256i*)&source[i + 16]);
    __m256i v2 = _mm256_loadu_si256((const __m256i*)&source[i + 32]);
    __m256i v3 = _mm256_loadu_si256((const __m256i*)&source[i + 48]);

    // 批量运算
    v0 = _mm256_or_si256(v0, vmask);
    v1 = _mm256_or_si256(v1, vmask);
    v2 = _mm256_or_si256(v2, vmask);
    v3 = _mm256_or_si256(v3, vmask);

    // 批量存储
    _mm256_storeu_si256((__m256i*)&source[i], v0);
    _mm256_storeu_si256((__m256i*)&source[i + 16], v1);
    _mm256_storeu_si256((__m256i*)&source[i + 32], v2);
    _mm256_storeu_si256((__m256i*)&source[i + 48], v3);
}

// 处理剩余不足64个元素、但够一个256位向量的部分
for (; i + 16 <= end; i += 16)
{
    __m256i v = _mm256_loadu_si256((const __m256i*)&source[i]);
    v = _mm256_or_si256(v, vmask);
    _mm256_storeu_si256((__m256i*)&source[i], v);
}

// 最后不足16个元素的尾部用标量处理
for (; i < end; ++i)
{
    source[i] |= mask;
}

这里用非对齐的load/store指令，在7700K及更新架构上，只要地址是对齐的，非对齐指令和对齐指令性能完全一致，还可以省掉手动判断地址对齐的逻辑，兼容性更好。如果可以控制数组内存分配，直接把数组对齐到32字节（AVX2）/64字节（AVX512），可以进一步减少跨缓存线访问的概率。

4. 针对大数组场景添加适度预取 #

如果处理的数组大小超过L2缓存，可以在循环中预取距离当前访问位置256-512字节后的缓存线，用_mm_prefetch把数据提前加载到缓存，减少内存访问等待延迟。如果数组大小在L1/L2缓存范围内，不要加预取，反而会污染缓存降低性能。

5. 合理配置编译选项 #

GCC/Clang编译时添加-O3 -march=native，MSVC添加/O2 /arch:AVX2，让编译器自动做指令调度、循环展开的优化，不要使用默认的低优化等级。

在支持AVX512BW的平台上，处理超过L3缓存的大数组时，AVX512单指令可以处理32个int16（64字节），配合循环展开可以打满更高的内存带宽，会有明显性能提升；但如果是小数据量命中L1/L2的场景，依然会因为带宽瓶颈看不到明显提升，消费级平台跑AVX512还可能触发频率降低，小负载下甚至可能出现负优化。

内容的提问来源于stack exchange，提问作者dave_thenerd