如何在PyArrow ChunkedArray中实现类NumPy式指定索引提取元素

PyArrow的ChunkedArray可以通过**take()**方法直接实现类似NumPy的整数索引提取，无需手动处理分块逻辑。

实现代码 #

import pyarrow as pa

# 创建目标ChunkedArray
ca = pa.chunked_array([[1,2,3], [4,5,6]])

# 传入索引列表提取元素
result = ca.take([1, 4, 2])

# 输出结果
print(result)

运行结果 #

<pyarrow.lib.Int64Array object at 0x7f6eb43c2d40>
[
  2,
  5,
  3
]

说明 #

• take()是PyArrow专门用于按位置索引提取元素的方法，支持传入任意整数列表（包括非连续、乱序的索引）。
• 该方法会自动处理ChunkedArray的分块结构，内部完成跨分块的索引映射，无需手动拆分或合并分块。

内容的提问来源于stack exchange，提问作者ignoring_gravity