如何将PyArrow BinaryArray直接转换为UInt8Array？

针对每个元素恰好为1字节的PyArrow BinaryArray转UInt8Array的需求，有两种高效的纯PyArrow实现方式，完全避免Python循环的性能损耗：

方法一：利用FixedSizeBinaryArray直接提取字节 #

由于你的BinaryArray每个元素都是固定1字节，可以先将其转换为FixedSizeBinaryArray，然后直接获取其底层的values属性（该属性本身就是UInt8Array）：

import pyarrow as pa

array_of_bytes = pa.array([bytes([i]) for i in range(256)], pa.binary())
# 转换为固定1字节的FixedSizeBinaryArray
fsb_array = pa.FixedSizeBinaryArray.from_arrays(
    offsets=array_of_bytes.buffers()[1],
    values=array_of_bytes.buffers()[0],
    byte_width=1
)
# 获取对应的UInt8Array
uint8_array = fsb_array.values

这种方式是零拷贝操作，直接复用原BinaryArray的内存缓冲区，性能最优。

方法二：使用PyArrow Compute的binary_to_uint8函数 #

PyArrow 14.0及以上版本提供了binary_to_uint8计算函数，专门用于将每个二进制字符串的第一个字节转换为uint8值（正好匹配你的场景）：

import pyarrow as pa

array_of_bytes = pa.array([bytes([i]) for i in range(256)], pa.binary())
uint8_array = pa.compute.binary_to_uint8(array_of_bytes)

该方法是矢量化操作，内部由Arrow引擎高效处理，代码更简洁。

为什么直接cast会失败？ #

你尝试的array_of_bytes.cast(pa.uint8())本质是将二进制数据当作UTF-8字符串解析为数值，而非直接提取字节的原始值，因此遇到无法解析为合法数字的字节（比如不可打印字符）就会报错。

内容的提问来源于stack exchange，提问作者Finwood