C++如何实现字符串与int关联数据的单堆分配连续内存存储

两个方案的优劣对比 #

两种方案里，连续char buffer的方案实用性远高于union方案，union方案的适用场景非常局限：

• 方案一（std::vector<char>/std::string存整体内容）的优势：
  • 完美适配任意长度的变长字符串，内存利用率更高，只需要在int前做少量对齐填充，没有额外空间浪费
  • 完全可以规避未定义行为：读取关联int的时候不要用reinterpret_cast强转，用std::memcpy把对应位置的字节拷贝到int变量即可，只要对齐满足要求，编译器会将memcpy优化为普通内存读写，没有额外性能开销，完全符合C++标准
  • 遍历逻辑简单，只需要按长度累加偏移就能依次拿到所有字符串和对应int值，不需要额外维护复杂的类型标记
• 方案二（CharInt union）的劣势：
  • 原生不支持变长字符串，超过sizeof(int)长度的字符串需要拆分到多个union单元存储，读取时还要自行拼接，维护成本极高
  • 内存浪费严重，长度不足sizeof(int)的字符串也要占满整个union的大小
  • 没有静态类型校验，你需要自行记录每个union单元当前存储的是int还是char序列，一旦访问了非活跃成员直接触发未定义行为，出错概率很高

更推荐的可选方案 #

你最初提到的「所有字符串存到单个大字符串，单独存储每个字符串的偏移、长度、关联int」的方案，是目前业界常用的最优解，实现简单且完全符合C++规范：

1. 先遍历原始的tuple向量，统计所有字符串的总长度，以及总条目数
2. 分配一块大的连续内存，如果要严格做到单次堆分配，可以计算总内存大小 = 条目数 × (2个size_t + 1个int) + 所有字符串总长度，用operator new或者std::malloc分配即可
3. 内存前半段存储每个条目的元数据：字符串起始偏移、字符串长度、关联int值，后半段依次存储所有字符串的内容
4. 遍历原始数据依次填充元数据和字符串内容即可
   如果你的字符串都是以'\0'结尾的，还可以省略长度字段，读取时直接从偏移位置读取C风格字符串，进一步节省元数据占用的空间。

union方案的常见陷阱 #

如果坚持要使用union方案，需要注意这些问题：

• 严格遵守C++的union活跃成员规则：只能访问最后一次赋值的成员，你示例中的用法符合要求，但后续维护时一旦写错访问逻辑就会触发未定义行为，没有任何防护机制
• 注意大小端兼容问题：如果有跨平台使用的需求，char序列和int的互读会因为字节序不同得到完全不一样的结果
• 没有内置类型标记：你需要额外的空间存储每个union单元的存储类型，这部分开销你之前没有考虑到
• 旧标准兼容问题：带自定义构造函数的union是C11才支持的特性，如果要兼容C03及更早的标准无法使用

内容的提问来源于stack exchange，提问作者user542101