PyArrow pq.read_table转Pandas是否会导致数据内存双份存储？

1. pq.read_table('dataset.parq').to_pandas()的内存占用情况 #

• 链式调用下，pq.read_table()生成的PyArrow表不会长期在内存中保留两份数据：这个临时表对象没有被赋值给变量，当to_pandas()执行完成后，Python垃圾回收机制会自动回收它的内存。
• 转换过程中可能出现短暂内存峰值：即PyArrow表和Pandas DataFrame会在瞬间同时存在于内存，但这个状态持续时间极短，除非内存刚好处于临界状态，否则不会有显著影响。
• 数据类型影响：对于整数、浮点数这类支持零拷贝的类型，DataFrame会共享PyArrow表的内存，内存占用不会翻倍；而字符串等需要格式转换的类型，转换时会生成数据副本，此时会短暂存在两份数据，但原PyArrow表仍会被及时回收。

2. 基于RecordBatch生成器的低内存优化方案 #

你当前收集所有RecordBatch转成大Table再转DataFrame的方式，确实会导致内存中同时存在完整的PyArrow Table和Pandas DataFrame，内存占用较高。更优的方案是分批处理RecordBatch并逐步合并DataFrame：

import pandas as pd
import pyarrow as pa

# 示例RecordBatch生成器，替换为你的实际生成逻辑
def batch_generator():
    for i in range(10):
        arr1 = pa.array([i*j for j in range(1000)])
        arr2 = pa.array([str(i*j) for j in range(1000)])
        yield pa.RecordBatch.from_arrays([arr1, arr2], names=["col1", "col2"])

# 分批转换并合并
df_list = []
for batch in batch_generator():
    # 将单个RecordBatch转为小DataFrame
    small_df = batch.to_pandas()
    df_list.append(small_df)
    # 内存紧张时可定期合并列表（可选）
    # if len(df_list) == 100:
    #     temp_df = pd.concat(df_list, ignore_index=True)
    #     df_list = [temp_df]

final_df = pd.concat(df_list, ignore_index=True)

这个方案的核心优势：

• 不需要加载所有RecordBatch为完整的PyArrow Table，内存中仅保留当前处理的Batch和已合并的部分DataFrame。
• 每个Batch转成DataFrame后，原RecordBatch会被垃圾回收，进一步降低内存占用。

写入Parquet再读取的方案对比 #

这种方式会引入额外的磁盘IO开销，效率不如直接处理RecordBatch。如果一定要用，可通过batch_size参数分批读取合并，避免一次性加载整个表：

import pyarrow.parquet as pq

# 先将生成器的Batch写入Parquet（示例代码）
# pq.write_to_dataset(batch_generator(), root_path="temp_parquet")

# 分批读取并合并
df_list = []
for batch in pq.read_table("temp_parquet", batch_size=10000).to_batches():
    small_df = batch.to_pandas()
    df_list.append(small_df)

final_df = pd.concat(df_list, ignore_index=True)

但该方案多了磁盘读写步骤，性能和内存效率均不如直接处理生成器的方式。

内容的提问来源于stack exchange，提问作者Rafa Calvo