如何基于ARM-v8 Neon SIMD高效向量化7位ASCII字符位打包代码？

核心思路 #

原标量代码通过64位整数位操作，将8个ASCII字符（每个保留低7位）打包为7字节的二进制块。基于ARMv8 Neon指令集，我们可以通过128位向量寄存器并行处理16个字符（输出14字节），大幅提升处理效率，位操作逻辑与原标量代码完全对齐，确保结果一致。

实现代码 #

#include <arm_neon.h>
#include <cstring>

// 批量处理16个ASCII字符，打包为14字节二进制数据
static inline void Compress16x7bit(const uint8_t* ascii, uint8_t* bin) {
    // 加载16个ASCII字符到128位向量寄存器
    uint8x16_t chars = vld1q_u8(ascii);
    // 保留每个字符的低7位（丢弃最高位）
    chars = vandq_u8(chars, vdupq_n_u8(0x7F));
    // 转换为两个64位向量，方便按原标量逻辑做位操作
    uint64x2_t x = vreinterpretq_u64_u8(chars);

    // 第一步：合并每两个字符的7位为14位（移除单字符的高位间隔）
    uint64x2_t x_shifted = vshrq_n_u64(x, 1);
    uint64x2_t x_masked = vandq_u64(x, vdupq_n_u64(0x007F007F007F007FULL));
    x = vorrq_u64(x_shifted, x_masked);

    // 第二步：合并每四个字符的7位为28位
    x_shifted = vshrq_n_u64(x, 2);
    x_masked = vandq_u64(x, vdupq_n_u64(0x00003FFF00003FFFULL));
    x = vorrq_u64(x_shifted, x_masked);

    // 第三步：合并八个字符的7位为56位，得到最终打包结果
    x_shifted = vshrq_n_u64(x, 4);
    x_masked = vandq_u64(x, vdupq_n_u64(0x000000000FFFFFFFULL));
    uint64x2_t res = vorrq_u64(x_shifted, x_masked);

    // 将结果写入输出缓冲区（每个64位元素仅低7字节有效，共14字节）
    uint8x16_t res_bytes = vreinterpretq_u8_u64(res);
    vst1q_u8(bin, res_bytes);
}

void ascii_pack_neon(const char* ascii, size_t len, uint8_t* bin) {
    const uint8_t* src = reinterpret_cast<const uint8_t*>(ascii);
    const uint8_t* end = src + len;

    // 优先批量处理16字符块，最大化SIMD利用率
    while (src + 16 <= end) {
        Compress16x7bit(src, bin);
        src += 16;
        bin += 14;
    }

    // 处理剩余的8字符块
    if (src + 8 <= end) {
        uint8x8_t chars = vld1_u8(src);
        chars = vand_u8(chars, vdup_n_u8(0x7F));
        uint64x1_t x = vreinterpret_u64_u8(chars);

        uint64x1_t x_shifted = vshr_n_u64(x, 1);
        uint64x1_t x_masked = vand_u64(x, vdup_n_u64(0x007F007F007F007FULL));
        x = vorr_u64(x_shifted, x_masked);

        x_shifted = vshr_n_u64(x, 2);
        x_masked = vand_u64(x, vdup_n_u64(0x00003FFF00003FFFULL));
        x = vorr_u64(x_shifted, x_masked);

        x_shifted = vshr_n_u64(x, 4);
        x_masked = vand_u64(x, vdup_n_u64(0x000000000FFFFFFFULL));
        uint64x1_t res = vorr_u64(x_shifted, x_masked);

        uint8x8_t res_bytes = vreinterpret_u8_u64(res);
        vst1_u8(bin, res_bytes);
        src += 8;
        bin += 7;
    }

    // 处理不足8个的剩余字符，直接复制
    while (src < end) {
        *bin++ = *src++;
    }
}

关键细节说明 #

1. 向量并行处理：使用128位uint8x16_t寄存器一次加载16个字符，通过uint64x2_t并行处理两组8字符的打包逻辑，比原标量代码吞吐量提升一倍。
2. 位操作对齐：完全复刻原标量代码的三步位操作逻辑，确保打包结果与原代码一致，避免兼容性问题。
3. 对齐与非对齐访问：使用vld1q_u8/vst1q_u8支持非对齐内存访问，无需额外处理地址对齐，适配更多场景。
4. 收尾处理：剩余不足16个字符时，先处理8字符块，最后用标量代码处理剩余字符，保证边界场景的正确性。

编译要求 #

编译时需指定ARMv8架构，例如GCC/Clang编译选项：

-march=armv8-a -O3

内容的提问来源于stack exchange，提问作者Roman