从PyArrow ChunkedArray转Table是否为零拷贝操作？如何验证？

结论 #

是的，你提到的pa.table({'a': ca})操作属于零拷贝。PyArrow的Table本质是元数据容器，当传入已有的Arrow数组（包括ChunkedArray）时，只会创建对原始数组的引用，不会复制底层的内存缓冲区。

验证方法 #

可以通过以下几种方式验证内存共享：

1. 检查对象引用是否相同 #

直接对比原始ChunkedArray的chunk和Table列的chunk是否为同一个对象：

import pyarrow as pa

ca = pa.chunked_array([[1,2,3]])
t = pa.table({'a': ca})

original_chunk = ca.chunks[0]
table_chunk = t.column('a').chunks[0]

print(original_chunk is table_chunk)  # 输出 True，说明是同一对象引用

2. 对比底层缓冲区的内存地址 #

获取数组底层数据缓冲区的内存地址，验证两者是否一致：

original_buf = original_chunk.buffers()[1]  # 索引1对应数据缓冲区（无空值时索引0为None）
table_buf = table_chunk.buffers()[1]

print(original_buf.address == table_buf.address)  # 输出 True，缓冲区地址完全相同

3. 修改底层内存验证共享（仅用于测试） #

利用Arrow数组与numpy的零拷贝映射，修改底层内存后观察两者数据同步变化：

import numpy as np

# 将Arrow数组转为numpy视图（零拷贝）
original_np = original_chunk.to_numpy()
original_np[0] = 99  # 修改numpy数组的元素

# 查看原始ChunkedArray和Table的数据
print(ca.to_pylist())       # 输出 [[99, 2, 3]]
print(t.column('a').to_pylist())  # 输出 [[99, 2, 3]]，数据同步变化证明内存共享

内容的提问来源于stack exchange，提问作者ignoring_gravity