如何解决PyArrow Compute模块性能大幅下降问题

你的问题核心在于：PyArrow的compute模块是为数组级批量运算设计的，单标量每次调用都会产生C++调度的额外开销，而原生Python标量是解释器直接运算，单例开销极小，所以循环单标量运算时PyArrow反而慢。

下面是几个实用的解决思路，既能保留PyArrow的IO优势，又能拿到接近原生Python的运算性能：

1. 优先做批量数组运算，而非单标量循环 #

PyArrow的性能优势体现在批量处理上，把所有要运算的标量打包成PyArrow数组，一次完成所有运算，就能抵消调度开销，发挥它的速度优势。

比如把你的测试改成批量版本：

import pyarrow as pa
import pyarrow.compute as pc
import timeit

# 生成批量数据：10000个标量组成数组
a_arr = pa.array([5.0]*10000)
b_arr = pa.array([1.2]*10000)
x_scalar = pa.scalar(15.4)

def test_fun_pa_batch():
    y_arr = pc.divide(pc.subtract(a_arr, b_arr), x_scalar)
    return y_arr

# 测试批量运算耗时（只跑10次，因为一次处理10000个）
batch_time = timeit.timeit(test_fun_pa_batch, number=10)
print(f"批量运算总耗时：{batch_time}秒，平均每次处理10000个元素耗时：{batch_time/10}秒")

对比单标量循环的总耗时，批量处理的单位元素耗时会远低于原生Python单标量循环。

2. 单标量场景下，转成原生Python类型运算 #

如果确实需要处理单个标量，直接把PyArrow标量转成原生Python类型（用.as_py()方法），运算完再按需转回PyArrow标量即可，这样单标量运算速度和原生Python完全一致：

def test_fun_pa_scalar_to_py():
    a_py = ap.as_py()
    b_py = bp.as_py()
    x_py = xp.as_py()
    y_py = (a_py - b_py)/x_py
    # 按需转回PyArrow标量
    return pa.scalar(y_py)

# 测试耗时
py_convert_time = timeit.timeit(test_fun_pa_scalar_to_py, number=50000)
print(f"转原生类型运算总耗时：{py_convert_time}秒，平均迭代耗时：{py_convert_time/50000}秒")

这个版本的耗时会和你的原生Python测试test_fun几乎一致，同时你依然可以用PyArrow来处理IO（比如读Parquet、Feather文件），只在单标量运算时临时转类型。

3. 处理数据集时，用PyArrow表达式下推 #

如果是在处理PyArrow Dataset（比如批量读文件），直接用PyArrow的表达式（Expression）来定义运算，它会自动把运算下推到批量处理阶段，避免单标量循环：

import pyarrow.dataset as ds

# 假设读取一个Parquet数据集
dataset = ds.dataset("path/to/parquet_files", format="parquet")
# 用表达式定义运算
expression = pc.divide(pc.subtract(dataset.field("a"), dataset.field("b")), 15.4)
# 执行查询并获取结果
result = dataset.to_table(select=[expression.alias("y")])

这种方式完全不需要手动处理单标量，所有运算都是批量执行，性能拉满。

内容的提问来源于stack exchange，提问作者Desmond Spicer