读取文件3D向量：std::array与std::vector选择及性能优化

两种方案的执行速度对比 #

首先要纠正一个误区：std::array的大小必须是编译期常量，如果你的文件行数是运行时统计出来的动态值，根本没法直接用std::array——它不支持运行时动态指定大小。

假设忽略这个限制只谈速度：先统计行数再分配存储的方案需要两次遍历文件（一次计数、一次读数据），文件IO是这类场景的最大性能瓶颈，两次IO的开销远大于内存操作的差异。而用std::vector的push_back只需要一次遍历文件，速度会明显更快。

更优的实现方式 #

1. 预分配vector内存：先粗略估计文件行数（比如用文件总大小除以每行的平均字节数），然后调用vector.reserve(估计值)预分配足够空间，再用push_back或emplace_back插入数据。这样可以避免vector多次扩容时的内存拷贝开销，性能和预先分配固定数组接近，但不需要两次文件IO。
2. 内存映射文件（mmap）：把整个文件直接映射到进程内存空间，然后在内存中逐行解析数据。这种方式跳过了内核态到用户态的数据拷贝，大文件场景下性能提升非常明显，还能简化代码逻辑。
3. 批量读取解析：一次性读取大块文件内容到缓冲区，再在缓冲区里拆分解析行数据，减少系统IO调用的次数——系统调用的开销远高于内存内的数据处理。

何时选用std::array或std::vector #

选std::array的场景 #

• 你在编译阶段就确定了数据的固定行数（比如文件是固定格式的1000行3D向量）
• 数据量极小，栈内存就能容纳（注意栈空间一般只有几MB，太大的array会导致栈溢出）
• 不需要动态调整数据量，追求极致的栈内存访问效率

选std::vector的场景 #

• 文件行数是运行时才能确定的（比如你的场景，输入文件行数不固定）
• 数据量可能动态变化（比如后续需要添加或删除向量）
• 数据量较大，栈内存无法容纳，必须使用堆分配

提升内存分配性能的方法 #

• 提前预分配：对vector使用reserve()指定足够的容量，避免多次自动扩容时的内存重分配和数据拷贝
• 使用emplace_back代替push_back：如果是构造3D向量对象，emplace_back可以直接在vector的内存空间中构造元素，省去一次对象拷贝
• 自定义内存分配器：针对频繁分配的场景（比如大量小对象），使用内存池分配器替代默认的堆分配，减少内存碎片和分配开销
• 优先连续内存结构：vector本身是连续内存存储，缓存命中率远高于非连续结构（比如链表），尽量避免使用分散的内存存储数据

内容的提问来源于stack exchange，提问作者zogac