PyArrow表仅关联另一表指定列的性能疑问与实现方案

Q1：关于Table.join物化结果的假设是否正确？ #

你的假设完全正确。PyArrow的Table.join()方法执行时会立即物化完整的关联结果——也就是说，它会把table2的所有列都参与关联计算并合并到结果表中。如果之后再筛选列，那么之前为不需要的列所做的关联运算、内存分配都是完全冗余的，会显著浪费CPU和内存资源，尤其当table2包含大量列或数据量较大时，这种开销会非常突出。

Q2：如何最优实现与table2的垂直切片关联？ #

最优方案是先对table2做垂直切片（仅保留关联键和需要的目标列），再执行关联操作，从源头避免处理不必要的列。具体实现分两种场景：

场景1：table2已加载到内存中 #

直接通过select()方法筛选需要的列，生成轻量的切片表后再关联：

# 替换为实际的关联键和需要的列
join_key = "your_join_key"
required_cols_from_table2 = ["col_you_need_1", "col_you_need_2"]
# 组合关联键和目标列
needed_cols = [join_key] + required_cols_from_table2

# 对table2做垂直切片
table2_sliced = table2.select(needed_cols)

# 执行关联
final_result = table1.join(table2_sliced, keys=join_key)

场景2：table2存储在外部文件（如Parquet）中 #

如果table2还未加载到内存，建议用pyarrow.dataset.Scanner在读取阶段就只加载需要的列，彻底避免不必要的数据加载：

import pyarrow.dataset as ds

# 定义需要的列（关联键+目标列）
join_key = "your_join_key"
required_cols_from_table2 = ["col_you_need_1", "col_you_need_2"]
needed_cols = [join_key] + required_cols_from_table2

# 初始化数据集并创建Scanner，仅加载指定列
dataset = ds.dataset("path/to/table2_storage", format="parquet")
scanner = dataset.scanner(columns=needed_cols)
table2_sliced = scanner.to_table()

# 执行关联
final_result = table1.join(table2_sliced, keys=join_key)

这种方式不需要Table与Scanner直接关联，先通过Scanner生成仅含必要列的表，再执行关联即可，是目前PyArrow中最高效的实现方式。

内容的提问来源于stack exchange，提问作者Gabriele Giuseppini