Python 3.8读取shared_memory数据是否必须提前指定数组形状？

首先明确：Python的multiprocessing.shared_memory创建的共享内存是无结构的裸字节缓冲区，本身不存储任何数组形状、数据类型等元数据，无法直接从共享内存块本身读取到数组的结构信息。你可以通过以下三种常见方案解决该问题：

方案1：共享内存头部预埋元数据（最通用） #

在创建共享内存块时，在缓冲区最开头预留固定长度的空间，存储序列化后的数组形状、dtype等元数据，后续空间存储实际的数组内容。

实现示例： #

import struct
import numpy as np
from multiprocessing import shared_memory

# 元数据打包格式：前2个字节存维度数，接下来每8个字节存一个维度值，接下来10个字节存dtype名称，可根据需求调整
META_FORMAT = "<H10Q10s"
META_SIZE = struct.calcsize(META_FORMAT)

# 共享内存创建侧
def create_shm(name, arr):
    total_size = META_SIZE + arr.nbytes
    shm = shared_memory.SharedMemory(name=name, create=True, size=total_size)
    # 打包元数据写入头部
    meta = struct.pack(META_FORMAT, arr.ndim, *arr.shape, *([0]*(10 - arr.ndim)), arr.dtype.str.encode('ascii'))
    shm.buf[:META_SIZE] = meta
    # 写入数组数据
    shm.buf[META_SIZE:META_SIZE+arr.nbytes] = arr.tobytes()
    return shm

# 共享内存挂载侧（无需提前知道形状）
def attach_shm(name):
    shm = shared_memory.SharedMemory(name=name, create=False)
    # 读取头部元数据解包
    meta = struct.unpack(META_FORMAT, shm.buf[:META_SIZE])
    ndim = meta[0]
    shape = meta[1:1+ndim]
    dtype = meta[11].strip(b'\x00').decode('ascii')
    # 生成数组
    arr = np.ndarray(shape, dtype=dtype, buffer=shm.buf, offset=META_SIZE)
    return arr, shm

方案2：元数据编码到共享内存名称（最简单） #

将数组形状、dtype直接编码到你指定的共享内存名称中，挂载时直接解析名称即可拿到元数据，不需要修改内存结构。

实现示例： #

import numpy as np
from multiprocessing import shared_memory

# 命名规则：shm_<业务标识>_<shape各维度用x分隔>_<dtype>
def get_shm_name(biz_flag, shape, dtype):
    shape_str = "x".join(map(str, shape))
    return f"shm_{biz_flag}_{shape_str}_{dtype}"

def parse_shm_name(name):
    parts = name.split("_")
    shape = tuple(map(int, parts[2].split("x")))
    dtype = parts[3]
    return shape, dtype

# 创建侧
arr = np.random.rand(10, 20, 30).astype(np.float32)
shm_name = get_shm_name("user_table", arr.shape, arr.dtype)
shm = shared_memory.SharedMemory(name=shm_name, create=True, size=arr.nbytes)
shm.buf[:] = arr.tobytes()

# 挂载侧，只要知道shm_name就能解析到形状
shape, dtype = parse_shm_name(shm_name)
existing_shm = shared_memory.SharedMemory(name=shm_name)
c = np.ndarray(shape, dtype=dtype, buffer=existing_shm.buf)

方案3：节点本地元数据缓存 #

如果共享内存仅在单节点内访问，可在节点的临时文件系统（如/dev/shm）下存储和共享内存同名的元数据文件，创建共享内存时写入形状、dtype信息，挂载时读取该文件即可。

内容的提问来源于stack exchange，提问作者42bsk