能否用pandas分块读取SQL数据并逐块追加写入Parquet文件？

完全可以通过分块读取+追加写入Parquet的方式解决你的问题，这是处理超大规模数据集、控制内存占用的常规方案——既能避开全量读取的内存瓶颈，又能保留Parquet格式的高效读取优势。

实现步骤与代码示例 #

以下是基于pandas的具体实现，核心是利用read_sql的分块读取能力，配合to_parquet的追加模式完成写入，同时及时释放内存：

1. 导入依赖库

import pandas as pd
import gc
from sqlalchemy import create_engine

2. 建立数据库连接

# 替换为你的数据库连接字符串（支持PostgreSQL、MySQL、SQL Server等）
engine = create_engine('postgresql://user:password@host:port/dbname')

3. 分块读取并追加写入Parquet

first_write = True
# chunksize根据可用内存调整，比如10万行/块，可按需增减
for chunk in pd.read_sql('SELECT * FROM your_target_table', engine, chunksize=100000):
    # 可选：对当前块做数据清洗、转换等操作
    # chunk = chunk.dropna(subset=['critical_column'])
    
    # 写入Parquet文件
    if first_write:
        # 第一次写入用覆盖模式
        chunk.to_parquet('large_dataset.parquet', engine='pyarrow', index=False)
        first_write = False
    else:
        # 后续块用追加模式
        chunk.to_parquet('large_dataset.parquet', engine='pyarrow', index=False, mode='a')
    
    # 强制释放当前块的内存，避免累积占用
    del chunk
    gc.collect()

关键注意事项 #

• chunksize调优：根据机器内存容量选择合适的块大小——太大容易触发内存溢出，太小会增加IO次数拖慢整体速度，建议先测试不同大小找到最优值。
• Parquet引擎差异：如果使用fastparquet引擎，追加写入的参数是append=True而非mode='a'，代码需对应调整：

  # fastparquet的追加写法
  chunk.to_parquet('large_dataset.parquet', engine='fastparquet', index=False, append=True)
  

• 数据一致性保障：如果分块读取过程中数据库数据有写入/更新操作，可能导致最终Parquet文件的数据不一致。若需要严格一致性，建议读取前锁定目标表，或利用数据库的快照读取功能（比如PostgreSQL的SET TRANSACTION ISOLATION LEVEL REPEATABLE READ）。
• 分区优化（可选）：如果后续查询经常按某字段过滤（比如日期、地区），写入时可指定partition_cols做分区存储，后续读取时能直接加载指定分区，进一步提升性能：

  chunk.to_parquet('large_dataset.parquet', engine='pyarrow', index=False, mode='a', partition_cols=['date_column'])
  

内容的提问来源于stack exchange，提问作者masoud