Pandas to_csv chunksize设置经验法则：如何合理设定chunksize？

一、程序化计算的核心逻辑 #

要算出靠谱的chunksize，核心就是用可用内存除以单条数据的内存占用，再留足缓冲区，具体步骤：

• 先算每行数据的平均内存：用df.memory_usage(deep=True).sum() / len(df)，得到每行的字节数（deep=True必须加上，否则字符串类型的内存占用会估不准）
• 获取可用内存：借助psutil库可以直接拿到系统当前空闲内存的字节数
• 计算chunksize：把可用内存的80%分配给写入操作（留20%给系统和其他进程），除以每行字节数后取整即可
• 边界处理：如果计算结果超过DataFrame总行数，直接用总行数；如果结果过小（比如小于1000），设置一个最小值，避免频繁写入磁盘拖慢效率

二、现成代码示例 #

直接用这段代码就能算出最优chunksize：

import pandas as pd
import psutil

def get_optimal_chunksize(df):
    # 计算每行平均内存（字节）
    per_row_size = df.memory_usage(deep=True).sum() / len(df)
    # 获取可用内存（字节）
    free_mem = psutil.virtual_memory().available
    # 计算chunksize，预留20%内存
    chunksize = int((free_mem * 0.8) // per_row_size)
    # 做边界限制
    chunksize = min(chunksize, len(df))
    chunksize = max(chunksize, 1000)
    return chunksize

# 用法示例
large_df = pd.read_csv("your_large_data.csv")
best_chunksize = get_optimal_chunksize(large_df)
large_df.to_csv("output.csv", chunksize=best_chunksize)

三、经验调优建议 #

• 如果写入时还在并行运行其他计算任务，把预留内存比例调到70%甚至更低，避免内存冲突
• 处理千万行以上的超大型数据集时，可以先取1%的样本计算每行内存，再放大到全量计算chunksize，节省时间
• 若遇到磁盘IO瓶颈，反而可以适当调大chunksize，减少磁盘写入次数

内容的提问来源于stack exchange，提问作者Roelant