如何在PyArrow中无需读取数据重命名Parquet列？

首先明确：PyArrow目前没有提供无需读写数据就能直接修改Parquet文件列名的函数。

原因在于Parquet文件的列名属于文件元数据的核心部分，而Parquet的文件格式设计中，元数据与数据块是紧密关联的，PyArrow的现有API并不支持原地修改Parquet文件的元数据——也就是说，你没法只改列名而完全不碰数据内容。

你当前采用的全量读取表、重命名列再写入的方法是可行的，但如果面对超大表，这种方式会占用大量内存，这里可以给你一个优化方案：分批次读取数据块，重命名后逐批写入，这样能大幅降低内存占用：

import pyarrow as pa
import pyarrow.parquet as pq

# 先读取原文件的schema并修改列名
original_schema = pq.read_schema('table.parquet')
new_schema = original_schema.rename_columns(['a', 'c'])

# 分批次读取并写入新文件
with pq.ParquetWriter('renamed.parquet', new_schema) as writer:
    parquet_file = pq.ParquetFile('table.parquet')
    for batch in parquet_file.iter_batches():
        renamed_batch = batch.rename_columns(['a', 'c'])
        writer.write_batch(renamed_batch)

这个方法不需要一次性把整个表加载到内存，但本质上还是需要读取数据块并重新写入——目前没有更轻量化的方式能直接修改Parquet的列名。

内容的提问来源于stack exchange，提问作者Amir