CPython环境下如何无硬编码安全提取自定义Buffer对象内存储的实际内存地址
更安全的指针提取实现方案
核心思路是通过ctypes完整映射目标C结构体的布局,利用ctypes原生的结构对齐计算能力替代手动累加硬编码的偏移量,完全不需要手动估算各成员的字节尺寸。
具体实现
先对齐CPython内置的对象头结构,替代之前用
sys.getsizeof(0)凑对象头大小的取巧逻辑
直接按照CPython源码中PyObject_VAR_HEAD的定义声明ctypes结构,不需要硬写字段的字节长度:import ctypes # 映射CPython基础PyObject结构(对应PyObject_HEAD) class PyObject(ctypes.Structure): _fields_ = [ ("ob_refcnt", ctypes.c_ssize_t), ("ob_type", ctypes.c_void_p), ] # 映射可变对象头(对应PyObject_VAR_HEAD) class PyVarObject(PyObject): _fields_ = [ ("ob_size", ctypes.c_ssize_t), ]完整映射目标
Buffer结构体,和你给出的C侧定义完全对应
所有字段的尺寸、对齐规则全部由ctypes根据当前运行平台自动计算,不需要手动声明固定字节长度:# 映射C侧的缓冲区指针union class BufferUnion(ctypes.Union): _fields_ = [ ("asbyte", ctypes.POINTER(ctypes.c_char)), ("asshort", ctypes.POINTER(ctypes.c_short)), ("asint", ctypes.POINTER(ctypes.c_int)), ("asfloat", ctypes.POINTER(ctypes.c_float)), ("asdouble", ctypes.POINTER(ctypes.c_double)), ("asvoid", ctypes.c_void_p), ] # 映射完整的Buffer结构体 class CBuffer(ctypes.Structure): # 声明union为匿名成员,可直接访问union内的指针值 _anonymous_ = ("buf",) _fields_ = [ ("ob_base", PyVarObject), ("parent", ctypes.c_void_p), ("type", ctypes.c_int), ("ndimensions", ctypes.c_int), ("dimensions", ctypes.POINTER(ctypes.c_int)), ("buf", BufferUnion), ]直接通过结构指针读取缓冲区地址,替代手动算偏移+内存拷贝的流程
不需要硬编码偏移值,也不需要string_at、struct.unpack这类中间操作:def get_buffer_raw_address(buffer_obj): # 把id()拿到的Python对象内存地址,直接转换为我们定义的CBuffer结构指针 c_buf = ctypes.cast(id(buffer_obj), ctypes.POINTER(CBuffer)) # 直接读取union中的通用void指针值,就是实际缓冲区的内存地址 return c_buf.contents.asvoid
方案优势
- 彻底消除硬编码的可移植性问题:不管是32/64位平台、不同编译器的默认结构体对齐规则、不同编译选项下的整数/指针宽度差异,ctypes都会自动计算匹配的结构布局,不需要手动维护偏移累加值
- 没有冗余内存开销:跳过了原方案中“读内存块-二进制解码”的中间步骤,直接通过结构指针定位目标字段,读取效率更高
- 可维护性更强:如果C侧的Buffer结构体后续新增字段,只需要同步修改ctypes的结构定义即可,不需要重新逐字节计算偏移量
注意事项
- 该方案和原硬编码方案的适用范围一致,仅兼容CPython环境,不支持PyPy等其他Python发行实现
- 如果C侧的结构体编译时开启了特殊对齐规则(比如
packed紧凑对齐),只需要在ctypes的Structure定义中添加_pack_ = 1(或对应的对齐数值),和C侧的编译选项保持一致即可,依然不需要手动计算偏移 - 访问内存期间需要保证目标Buffer对象不会被GC回收,避免出现野指针访问,该约束和原硬编码方案完全相同
内容的提问来源于stack exchange,提问作者ciclopez
相关产品推荐
相关产品推荐

