循环生成DataFrame并导出CSV效率优化求助

针对你处理10000个DataFrame、最终生成300万行CSV的场景，推荐以下几种优化方案，按效率优先级排序：

方案一：先收集所有DataFrame再一次性合并导出 #

循环中反复合并或写入CSV的最大开销是重复内存分配/文件IO操作，先把所有非空DataFrame存入列表，最后一次性合并导出，能大幅减少这类开销。

代码示例： #

import pandas as pd

# 初始化列表存储所有DataFrame
df_collection = []

# 生成初始DataFrame并加入列表
initial_df = pd.DataFrame(...)  # 替换成你的初始DataFrame生成逻辑
df_collection.append(initial_df)

# 循环生成新DataFrame，仅加入非空的
for _ in range(10000):
    new_df = your_generate_df_function()  # 替换成你的生成逻辑
    if not new_df.empty:
        df_collection.append(new_df)

# 一次性合并所有DataFrame并导出
final_df = pd.concat(df_collection, ignore_index=True)
final_df.to_csv('final_result.csv', index=False)

适用场景： #

你的机器内存足够容纳所有DataFrame（按300万行5列估算，内存占用约120MB左右，大部分机器都能轻松应对），这是最快的方案，耗时能压缩到几分钟甚至更短。

方案二：优化追加写入CSV的方式 #

如果内存吃紧，可优化文件写入逻辑，避免反复打开/关闭文件句柄，同时跳过空DataFrame的写入操作：

代码示例： #

import pandas as pd

# 先写入初始DataFrame（包含表头）
initial_df.to_csv('final_result.csv', index=False)

# 保持文件句柄持续打开，循环追加数据
with open('final_result.csv', 'a') as csv_file:
    for _ in range(10000):
        new_df = your_generate_df_function()
        if not new_df.empty:
            # 追加时不写表头，避免重复
            new_df.to_csv(csv_file, index=False, header=False)

优化点： #

• 仅打开一次文件，减少IO开销
• 跳过空DataFrame，避免无效写入

方案三：用Dask处理超大规模数据 #

如果单台机器内存不足以容纳全部数据，可使用Dask（支持并行分块处理的大数据工具），它会自动将数据拆分到多个分区，无需一次性加载全量数据：

代码示例： #

import dask.dataframe as dd
import pandas as pd

# 生成初始DataFrame并转为Dask DataFrame
initial_df = pd.DataFrame(...)
ddf = dd.from_pandas(initial_df, npartitions=4)  # 分区数建议等于CPU核心数

# 循环生成新DataFrame并合并到Dask DataFrame
for _ in range(10000):
    new_df = your_generate_df_function()
    if not new_df.empty:
        new_ddf = dd.from_pandas(new_df, npartitions=1)
        ddf = dd.concat([ddf, new_ddf])

# 导出为单个CSV文件
ddf.to_csv('final_result.csv', index=False, single_file=True)

注意事项： #

• Dask会自动处理分块读写，适合内存不足的场景
• 分区数建议设置为CPU核心数，最大化并行效率

额外建议： #

• 生成DataFrame时尽量避免不必要的列类型转换，保持数据类型统一（比如用int/float替代object类型），能减少内存占用和合并开销
• 若生成DataFrame的逻辑可并行，可结合concurrent.futures多线程/多进程生成，进一步缩短总耗时

内容的提问来源于stack exchange，提问作者Felippe