C++中vector reserve分配大内存触发std::bad_alloc异常求助

处理100GB大文件时，无法为std::vector<float>预留指定长度的内存，30GB以内的小文件可正常运行。

测试代码：

#include<vector>
int main()
{
    std::vector<float> v;
    v.reserve(73192550880); 
    return 0;
}

GCC编译运行后抛出异常：

Program returned: 139
Program stderr
terminate called after throwing an instance of 'std::bad_alloc'
what(): std::bad_alloc

先计算内存需求：每个float占4字节，73192550880个float需要的总内存为 73192550880 * 4 = 292770203520 字节，约合272GB。抛出std::bad_alloc的核心原因有两点：

1. 连续内存块不足：std::vector要求分配一块连续的虚拟内存区域，即便系统总内存（物理+交换）足够，长期运行的系统内存碎片较多，几乎不可能找到272GB的连续空闲内存块。
2. 内存资源限制：64位进程虚拟内存理论上限虽高，但实际系统会限制单个进程的内存使用，且物理内存+交换空间总和可能远小于272GB，导致无法分配足够内存。

• 流式处理（优先推荐）：不要一次性加载整个文件到内存，改为按块读取、处理、释放。比如每次读取1GB对应的float数据到小型vector中，处理完成后清空vector再读取下一块，内存占用仅取决于单块大小，完全避开大内存分配问题。
• 使用非连续内存容器：如果需要保留全部数据在内存中，改用std::deque（无需连续内存，支持随机访问），或者手动实现分段存储的vector（比如std::vector<std::vector<float>>，每个子容器存储固定大小的块），避免对超大连续内存的依赖。
• 内存映射文件：利用操作系统的内存映射机制（如Linux的mmap、Windows的CreateFileMapping），将文件直接映射到进程虚拟地址空间。这种方式不需要主动分配大内存，系统会按需加载文件页面，且虚拟地址连续、物理内存可离散分布，适合处理超大文件。
• 调整系统内存配置（不推荐）：若必须一次性加载，先确认系统物理内存+交换空间总和是否达到272GB以上，同时放开进程内存限制（如Linux下用ulimit -v unlimited），但即便满足条件，连续内存块不足的问题依然大概率存在。

内容的提问来源于stack exchange，提问作者arun