如何仅使用PyArrow结构转置PyArrow.Table对象并保持内存连续？

问题解答 #

1. 无pandas依赖的PyArrow表转置实现 #

如果你的表所有列数据类型一致（和示例场景一致），可以用以下两种方式实现转置，完全避免引入pandas对象：

高效实现（依赖numpy，无pandas）

import pyarrow as pa
import numpy as np

# 原表构造逻辑
np.random.seed(1234)
N, M = 3, 4
arrays = [pa.array(np.random.randint(0, 4, N)) for _ in range(M)]
names = [str(x) for x in range(M)]
table = pa.Table.from_arrays(arrays, names)

# 转置逻辑
table_np = table.to_numpy()
transposed = pa.Table.from_arrays(
    [pa.array(col) for col in table_np.T],
    names=[str(i) for i in range(N)]
)

# 结果验证
print("Original:\n", table.to_numpy())
print("\nTransposed:\n", transposed.to_numpy())

纯PyArrow实现（无额外依赖）

适合列数/行数较小的场景，全程只调用PyArrow原生API：

num_rows = table.num_rows
num_cols = table.num_columns
transposed_arrays = []

for row_idx in range(num_rows):
    new_col = pa.array([table.column(col_idx)[row_idx] for col_idx in range(num_cols)])
    transposed_arrays.append(new_col)

transposed = pa.Table.from_arrays(transposed_arrays, names=[str(i) for i in range(num_rows)])

2. 转置后的内存连续性问题 #

PyArrow采用列式存储设计，每一列是独立的连续内存块，整张表不存在跨列的全局连续内存块：

• 若原表每一列都是单chunk连续存储，用上述numpy方案生成的转置表，每个新列本身也是单chunk连续内存块
• 无论哪种实现，转置后的整张表都不会有全局连续的内存块，这是列式存储的固有特性。

3. combine_chunks()的作用说明 #

transposed.combine_chunks()只会处理单列内部的内存，将单列的多个分散chunk合并为单个连续chunk，不会把多列合并为统一的连续内存块。调用该方法后，转置表的每一列都会是连续内存，但列之间仍然是独立存储，不存在「沿列轴全表连续」的情况。

内容的提问来源于stack exchange，提问作者jrbergen