Cython中字符数组意外累加问题排查

这个问题的核心在于Cython中C静态字符数组的内存特性和Python对C指针的处理逻辑之间的不匹配，具体拆解如下：

1. C静态数组的内存特点 #

你定义的cdef unsigned char c1[3]和c2[3]是栈上分配的固定长度数组，它们的内存是连续的，而且只存储了3个字节的字符数据——没有C风格字符串要求的终止符\0（ASCII值为0的字节）。

当你执行c1 = bytearray(b'123')时，Cython只会把bytearray里的3个字节复制到c1的栈内存中，不会自动添加\0。

2. 栈内存的连续性导致越界读取 #

栈内存的分配是连续的，先定义的变量和后定义的变量在栈上是相邻的（栈的生长方向是从高地址到低地址，所以c2的内存区域会紧接着c1的内存区域，或者反过来，取决于编译器，但结果都是两块内存挨在一起）。

当你把c1、c2的指针（unsigned char*）放入Python列表或者指针数组cc后，打印时Python会把这些指针当作C风格字符串来处理——C字符串的读取逻辑是从指针位置开始，一直读取字节直到遇到\0为止。

因为你的静态数组没有\0，Python会继续读取相邻的栈内存内容，所以第二个数组的输出就包含了第一个数组的内容，形成b'456123'。

3. 整数数组为何正常？ #

而整数数组的情况不一样：当你把i1（静态整数数组）放入Python列表时，Cython会自动将其转换为Python列表对象，逐个提取数组中的整数元素，完全不涉及指针或C字符串的读取逻辑，所以不会出现越界问题，结果符合预期。

解决方法 #

要修复这个问题，你可以选择以下几种方式：

• 给静态数组添加终止符：定义数组时多留一个字节的空间，手动添加\0：

  cdef unsigned char c1[4]
  cdef unsigned char c2[4]
  c1[:3] = bytearray(b'123')
  c1[3] = 0  # 添加C字符串终止符
  c2[:3] = bytearray(b'456')
  c2[3] = 0
  cc = [c1, c2]
  print(cc)
  

• 直接使用Python的bytearray/bytes对象：如果不需要C级别的数组操作，直接用Python原生类型即可，避免栈数组的问题：

  cdef bytearray c1 = bytearray(b'123')
  cdef bytearray c2 = bytearray(b'456')
  cc = [c1, c2]
  print(cc)
  

• 使用Cython的view类型：更安全地处理内存缓冲区：

  from cython.view cimport array as cvarray
  cdef unsigned char[:] c1 = cvarray(shape=(3,), itemsize=sizeof(unsigned char), format="B")
  cdef unsigned char[:] c2 = cvarray(shape=(3,), itemsize=sizeof(unsigned char), format="B")
  c1[:] = bytearray(b'123')
  c2[:] = bytearray(b'456')
  cc = [bytes(c1), bytes(c2)]
  print(cc)
  

内容的提问来源于stack exchange，提问作者user3758232