C语言读取二进制文件时的性能优化问题求助

问题背景 #

我正在编写一个从文件读取信号值的程序，当前遇到性能瓶颈，数据读取速度无法满足需求。

信号值（多为32位浮点数）存储在已加载至主存的二进制文件中，存储规则如下：

• 存在明确的数值存储起始地址
• 数据块数量由文件创建者决定，不止一个
• 每个数据块对应一个固定偏移量
• 需要读取的元素数量已知

数据结构示意图：

图中蓝色块为需要读取并写入目标数组的核心数据，块间间隔固定但可能超过缓存行（cacheline），我怀疑这是导致性能问题的主要原因。

当前实现代码 #

void extract_4byte_blocks(
    size_t offset_of_entry,
    size_t offset_between_elements,
    char *arr,
    size_t size_of_array,
    char * start_of_data) {

    char *next_block_start = (char *) start_of_data;

    for (size_t i = 0; i < size_of_array; ++i) {

        char *src = next_block_start + offset_of_entry;
        char *dest = arr + i * 4;
        next_block_start += offset_between_elements;

        memcpy(dest, src, 4);
    }
}

性能分析数据 #

• 执行时间统计：
  
• 缓存命中情况：
  

补充信息 #

开启-O3编译后重新分析，发现编译器可能执行了内联优化，导致耗时统计转移到调用函数，仅将总耗时降低了2秒，仍无法满足需求。进一步分析确认，offset_between_elements的取值（如2632、2210、109、366字节）过大，每次读取都会触发缓存未命中（cache misses），这是当前性能瓶颈的核心原因。

优化建议 #

1. 利用SIMD指令批量读取 #

针对32位浮点数的非连续读取，使用SIMD指令集（如AVX2、AVX-512）一次性加载多个分散元素，减少内存访问次数。例如AVX2的_mm256_i32gather_ps函数可一次性读取8个32位浮点数，批量写入目标数组：

#include <immintrin.h>

void extract_4byte_blocks_simd(
    size_t offset_of_entry,
    size_t offset_between_elements,
    float *arr,
    size_t size_of_array,
    char *start_of_data) {

    float *src_base = (float *)(start_of_data + offset_of_entry);
    size_t stride = offset_between_elements / sizeof(float);
    size_t i = 0;

    // 批量处理8个元素（AVX2）
    for (; i + 7 < size_of_array; i += 8) {
        __m256 indices = _mm256_set_epi32(i+7, i+6, i+5, i+4, i+3, i+2, i+1, i);
        indices = _mm256_mul_ps(indices, _mm256_set1_ps((float)stride));
        __m256 values = _mm256_i32gather_ps(src_base, (int*)&indices, sizeof(float));
        _mm256_storeu_ps(&arr[i], values);
    }

    // 处理剩余元素
    for (; i < size_of_array; ++i) {
        arr[i] = *(float *)(start_of_data + offset_of_entry + i * offset_between_elements);
    }
}

2. 手动预取数据 #

在循环中添加数据预取指令，让CPU提前将后续需要访问的内存块加载到缓存，减少缓存未命中的等待时间。使用__builtin_prefetch（GCC/Clang）或_mm_prefetch（MSVC）：

for (size_t i = 0; i < size_of_array; ++i) {
    char *src = next_block_start + offset_of_entry;
    char *dest = arr + i * 4;
    // 预取下一个要访问的内存块
    if (i + 1 < size_of_array) {
        __builtin_prefetch(next_block_start + offset_between_elements + offset_of_entry, 0, 3);
    }
    next_block_start += offset_between_elements;
    memcpy(dest, src, 4);
}

预取提前量需根据实际场景调整，避免预取过早导致缓存被覆盖。

3. 对齐目标数组内存 #

确保目标数组按缓存行或SIMD寄存器宽度对齐（如32字节对齐，对应AVX2的256位寄存器），减少写入时的内存开销。分配数组时使用aligned_alloc（C11）或posix_memalign（POSIX）：

float *arr = (float*)aligned_alloc(32, size_of_array * sizeof(float));

4. 多线程并行处理 #

若读取元素数量极大，将任务拆分到多线程并行处理，每个线程负责一部分元素。例如使用OpenMP：

#include <omp.h>

void extract_4byte_blocks_parallel(
    size_t offset_of_entry,
    size_t offset_between_elements,
    char *arr,
    size_t size_of_array,
    char *start_of_data) {

    #pragma omp parallel for
    for (size_t i = 0; i < size_of_array; ++i) {
        char *src = start_of_data + offset_of_entry + i * offset_between_elements;
        char *dest = arr + i * 4;
        memcpy(dest, src, 4);
    }
}

编译时需添加-fopenmp参数启用OpenMP。

5. 数据重组（若允许） #

若有权限修改原始数据存储格式，可在初始化阶段将所有需要的非连续数据整理到连续内存块，后续直接访问连续内存彻底解决缓存问题。

内容的提问来源于stack exchange，提问作者EraZer