如何使用PyArrow将数据写入Arrow二进制格式文件./my-data.arrow

要将数据写入原生Arrow二进制格式文件（非Parquet），可以使用PyArrow的RecordBatchFileWriter工具，它专门用于处理Arrow的IPC文件格式。基于你提供的代码，完整实现如下：

import pyarrow as pa

# 原始数据与schema
data = [('A', 1), ('B', 2)]
schema = pa.schema([
    ('name', pa.string()),
    ('id', pa.int64())
])

# 将Python数据转换为PyArrow Table
table = pa.Table.from_pylist(data, schema=schema)

# 写入Arrow二进制文件
with pa.RecordBatchFileWriter('./my-data.arrow', schema) as writer:
    writer.write_table(table)

关键说明： #

• RecordBatchFileWriter是PyArrow官方提供的原生Arrow文件写入工具，生成的文件完全符合Arrow二进制格式规范，不会产生Parquet文件。
• 使用with语句可以自动完成文件的打开和关闭操作，无需手动调用close()方法。
• 如果需要处理流式数据，也可以改用pa.RecordBatchStreamWriter，但写入本地文件时RecordBatchFileWriter更合适，因为它会包含完整的schema元数据，方便后续读取解析。

内容的提问来源于stack exchange，提问作者BAR