如何无需加载内存直接向已有Parquet文件追加新数据？

单个Parquet文件追加数据 #

你之前用pq.ParquetWriter()覆盖数据，核心问题是没指定追加模式。PyArrow的ParquetWriter默认是overwrite模式，只要显式设置write_mode='append'，就能实现向已有文件末尾追加新数据（实际是添加新的Row Group到文件中）。

操作步骤 #

1. 匹配Schema：确保新数据的Schema和目标Parquet文件完全一致（字段名、数据类型、顺序都要对应），否则追加会失败。
2. 使用追加模式初始化Writer：

import pyarrow as pa
import pyarrow.parquet as pq

# 示例：准备要追加的新数据
new_data = {'id': [101, 102], 'value': [3.14, 2.71]}
new_table = pa.Table.from_pydict(new_data)

# 获取目标文件的Schema（确保新数据Schema匹配）
target_schema = pq.read_schema('target_data.parquet')

# 初始化追加模式的Writer并写入数据
with pq.ParquetWriter('target_data.parquet', target_schema, write_mode='append') as writer:
    writer.write_table(new_table)

多Parquet文件组成的数据集追加 #

如果你的数据分散在多个Parquet文件（比如一个目录下的数据集），更高效的做法是直接向目录中添加新的Parquet文件，而非修改原有文件。PyArrow的dataset模块可以一键实现：

import pyarrow.dataset as ds

# 将新表追加到指定目录的Parquet数据集
ds.append_to_dataset(
    new_table,
    base_dir='your_data_dir',  # 存储多个Parquet文件的目录
    format='parquet'
)

这种方式不会修改原有文件，而是自动生成新的Parquet文件存入目录，适合每日频繁追加的场景，避免了修改大文件的开销。

关键注意事项 #

• Schema一致性：无论哪种方式，新数据的Schema必须和原有数据完全匹配，否则会抛出Schema不兼容的错误。如果需要修改Schema，建议重新生成新的数据集，而非追加。
• 性能考量：单个Parquet文件追加次数过多会导致文件内Row Group过多，影响后续读取性能。如果每日追加频率高，更推荐用多文件数据集的方式。

内容的提问来源于stack exchange，提问作者Keyhan