如何将c_char_p类型的C缓冲区直接加载为Numpy字符串数组？

问题背景 #

处理数值类型（如float、double、int8）的C缓冲区时，可直接用np.frombuffer加载为Numpy数组：

from ctypes import byref, c_double

N = 3
buffer = (c_double * N)()
# 填充缓冲区的C++函数
pull_function(byref(buffer))
# 加载为Numpy数组
data = np.frombuffer(buffer, dtype=c_double)

但处理c_char_p类型的字符串缓冲区时，目前只能通过列表推导式转为字符串列表：

from ctypes import byref, c_char_p

N = 3
buffer = (c_char_p * N)()
# 填充缓冲区的C++函数
pull_function(byref(buffer))
# 转为字符串列表
data = [v.decode("utf-8") for v in buffer]

尝试用np.char.decode结合np.frombuffer直接转为Numpy数组时，触发ValueError: itemsize cannot be zero in type报错，复现代码如下：

from ctypes import c_char_p
import numpy as np

x = ["1", "23"]
x = [elt.encode("utf-8") for elt in x]
buffer = (c_char_p * 2)(*x)
np.frombuffer(buffer, dtype=np.bytes_)  # 执行失败
[elt.decode("utf-8") for elt in buffer]  # 执行成功

报错原因 #

c_char_p类型的缓冲区本质是指针数组，每个元素是指向字符串的内存地址，而非字符串本身的字节内容。np.frombuffer会试图直接读取缓冲区的原始字节，但np.bytes_类型无法处理这种指针结构——因为指针的大小固定，但指向的字符串长度不统一，Numpy无法确定统一的itemsize，因此抛出错误。

解决方案 #

虽然无法直接用np.frombuffer加载指针数组为字符串数组，但可以通过以下方式高效转为Numpy字符串数组：

方法1：列表转数组（简单直接） #

先通过列表推导式解码字符串，再转为Numpy数组，兼容性好且易理解：

from ctypes import c_char_p
import numpy as np

x = ["1", "23"]
x = [elt.encode("utf-8") for elt in x]
buffer = (c_char_p * 2)(*x)
# 先解码为字符串列表，再转为Numpy数组
data = np.array([v.decode("utf-8") for v in buffer], dtype=np.str_)

方法2：指针地址批量解码（适合大数据量） #

先将指针数组转为存储内存地址的整数数组，再批量读取并解码：

from ctypes import c_char_p, sizeof
import numpy as np

x = ["1", "23"]
x = [elt.encode("utf-8") for elt in x]
buffer = (c_char_p * 2)(*x)

# 确定指针的字节大小（32位系统为4，64位为8）
ptr_size = sizeof(c_char_p)
# 将缓冲区转为存储指针地址的整数数组
ptr_array = np.frombuffer(buffer, dtype=np.uint64 if ptr_size == 8 else np.uint32)

# 定义解码函数，处理空指针情况
def decode_ptr(ptr):
    if ptr == 0:
        return ""
    return c_char_p(ptr).decode("utf-8")

# 批量解码为Numpy字符串数组
data = np.vectorize(decode_ptr)(ptr_array)

注意事项 #

• 确保C缓冲区中的字符串指针在Python访问期间有效，避免野指针导致内存访问错误；
• 如果字符串是固定长度的，可在C端使用字符数组（如c_char * 10）而非c_char_p，这样就能直接用np.frombuffer加载后解码。

内容的提问来源于stack exchange，提问作者Mathieu