如何解决跨进程共享std::vector时访问元素出现段错误的问题？

问题背景 #

尝试通过共享内存在两个进程间共享std::vector：第一个进程向vector中添加数据，第二个进程读取数据。

创建vector的进程代码 #

offset_t offset = custom_malloc(sizeof(std::vector<char, CustomAllocator<char>>));

uint8_t *ptr = shared_memory_base_ptr + offset;

std::vector<char, CustomAllocator<char>> *shared_vector = new (ptr) std::vector<char, CustomAllocator<char>>();
shared_vector->push_back('S');
shared_vector->push_back('h');
shared_vector->push_back('a');

读取vector的进程代码 #

const uint8_t *ptr = shared_memory_base_ptr + offset;

const std::vector<char, CustomAllocator<char>> *shared_vector = reinterpret_cast<const std::vector<char, CustomAllocator<char>> *>(ptr);
std::cout << shared_vector->size() << std::endl;  // 输出3
std::cout << shared_vector->at(0) << std::endl;  // 触发段错误

问题现象 #

调用vector->at(i)访问元素时触发段错误，打印元素地址&(vector->at(i))发现该地址是创建进程的虚拟地址，在读取进程中无效。

补充：自定义分配器代码 #

template <typename T>
class CustomAllocator
{
public:
    using value_type = T;

    CustomAllocator() noexcept {}

    T *allocate(std::size_t n) {
        const offset_t offset = custom_malloc(n * sizeof(T));
        return reinterpret_cast<T *>(shared_memory_base_ptr + offset);
    }

    void deallocate(void *p, std::size_t n) {
        (void)n;
        if (p) {
            const offset_t offset = static_cast<uint8_t *>(p) - shared_memory_base_ptr;
            custom_free(offset);
        }
    }
};

已知vector持有底层数据的指针，这些指针在其他进程中无效，除非将共享内存映射到相同虚拟地址。询问是否有其他解决办法，以及读取进程如何获取元素的正确地址。

解决方案 #

方案1：强制共享内存映射到相同虚拟地址 #

这是最直接的解决方式：在两个进程中，将共享内存区域映射到完全相同的虚拟地址。这样vector底层存储的指针在两个进程中都会指向有效的内存区域，无需修改现有vector和分配器代码。

• 实现细节：Linux下调用mmap时，第一个参数传入指定的固定地址；Windows下使用MapViewOfFileEx指定映射地址。
• 注意点：要确保指定的地址区间在两个进程中都未被占用，否则映射会失败，需要提前预留合适的地址空间。

方案2：封装共享内存友好的容器 #

如果无法保证相同虚拟地址映射，可以放弃直接使用std::vector，自定义一个基于偏移量管理的容器：

• 容器内部不存储T*类型的数据指针，而是存储相对于共享内存基地址的偏移量（offset_t类型）。
• 访问元素时，通过shared_memory_base_ptr + 偏移量计算出当前进程的有效虚拟地址。
• 这种方式需要自己实现容器的增删改查逻辑，但彻底避免了跨进程的指针地址不兼容问题。

方案3：序列化数据到共享内存 #

放弃直接共享vector对象，改为序列化数据的方式：

• 写入进程将vector的size()和所有数据内容写入共享内存的固定区域。
• 读取进程先读取size值，再从共享内存中读取对应长度的数据，在本地构造一个新的std::vector。
• 这种方式无需处理指针地址问题，但会产生数据拷贝开销，适合数据更新不频繁的场景。

关键原因分析 #

std::vector的内部结构包含三个核心指针：指向数据起始的data、指向元素末尾的end、指向容量末尾的capacity_end。这些指针都是创建进程的虚拟地址，当读取进程的共享内存映射地址与创建进程不同时，这些指针指向的是读取进程的无效内存区域，因此访问元素会触发段错误。而size()是直接存储在vector对象中的数值（并非通过指针计算得到），所以可以正常读取。

内容的提问来源于stack exchange，提问作者steve.xst