numpy frombuffer数组调用np.roll无法同步mp.RawArray缓冲区问题

核心原理 #

共享缓冲区映射的数组修改不同步，本质是NumPy数组 视图和拷贝的内存差异：

• np.frombuffer、维度兼容的np.reshape操作生成的是原始缓冲区的 视图：数组本身不存储数据，直接读写共享缓冲区的内存，因此所有通过索引、切片赋值的修改，都会直接作用在底层缓冲区上，同缓冲区生成的其他视图可以同步读到变更。
• np.roll这类返回重排结果的函数，输出是原数组的 拷贝：执行from_buffer2 = np.roll(from_buffer2, -1, axis=0)后，from_buffer2变量已经指向一块新申请的独立内存，和原始mp.RawArray没有任何关联，后续对这个新数组的修改自然不会同步到原缓冲区。

可以通过数组的.base属性快速判断是否为视图：如果arr.base指向原始缓冲区/其他数组，即为视图；如果arr.base为None，即为独立拷贝。

可落地的操作方案 #

所有会产生数组拷贝的NumPy操作，都不能直接替换原数组变量后修改，需要采用原地操作、或者将结果写回原缓冲区内存的方式实现同步。

方案1：原地切片操作（性能最优，无额外内存拷贝） #

用NumPy切片赋值替代np.roll实现滚动逻辑，全程操作原缓冲区视图，没有额外内存开销：

import multiprocessing as mp
import numpy as np

n_elem = 10
# 初始化共享缓冲区
buffer = mp.RawArray('i', n_elem)
from_buffer = np.frombuffer(buffer, dtype=np.uint32).reshape(-1)
from_buffer[:] = np.arange(n_elem)
print(from_buffer)
# 输出: [0 1 2 3 4 5 6 7 8 9]

# 原地左移1位，等价于np.roll(, -1)的效果
from_buffer[:-1] = from_buffer[1:]
from_buffer[-1] = 0

# 验证缓冲区同步
from_buffer2 = np.frombuffer(buffer, dtype=np.uint32).reshape(-1)
print(from_buffer2)
# 输出: [1 2 3 4 5 6 7 8 9 0]

方案2：拷贝结果回写缓冲区 #

如果必须使用np.roll这类生成拷贝的函数，不要用返回值覆盖原视图变量，而是将计算得到的结果整体赋值到原视图的内存切片中：

from_buffer = np.frombuffer(buffer, dtype=np.uint32).reshape(-1)
rolled_res = np.roll(from_buffer, -1, axis=0)
# 将计算结果写回原始缓冲区内存
from_buffer[:] = rolled_res
from_buffer[-1] = 0

该方式同样可以保证修改同步到共享缓冲区。

内容的提问来源于stack exchange，提问作者mooder