千万级字典列表转DataFrame：分块处理避免内存溢出方案求助

针对900万条字典数据转DataFrame时内存溢出的问题，以下是完整的分块处理实现方案，核心思路是分批次转换、逐块存储、最后合并，避免一次性加载全量数据到内存。

完整代码实现 #

import pandas as pd
import gc
import os

def forma_extras(extras):
    # 分块大小，可根据可用内存调整（建议10000-100000）
    chunk_size = 10000
    total_rows = extras.size
    temp_files = []

    for i in range(0, total_rows, chunk_size):
        # 截取当前批次的Series片段
        chunk_series = extras.iloc[i:i+chunk_size]
        
        # 若Series元素是序列化的JSON字符串，先转为字典；若已是字典可跳过此步
        chunk_dicts = chunk_series.apply(
            lambda x: pd.read_json(x, typ='series').to_dict() if isinstance(x, str) else x
        )
        
        # 转换为DataFrame
        chunk_df = pd.DataFrame(chunk_dicts.tolist())
        
        # 保存临时文件（优先用Parquet格式，比CSV更高效）
        temp_file = f'temp_chunk_{i//chunk_size}.parquet'
        chunk_df.to_parquet(temp_file, index=False)
        temp_files.append(temp_file)
        
        # 强制清理内存，避免累积占用
        del chunk_series, chunk_dicts, chunk_df
        gc.collect()

    # 合并所有临时分块文件
    final_df = pd.concat(
        [pd.read_parquet(file) for file in temp_files],
        ignore_index=True
    )

    # 清理临时文件
    for file in temp_files:
        os.remove(file)

    return final_df

关键细节说明 #

• 分块大小调整：根据你的机器可用内存灵活设置chunk_size——内存充足时调大（比如10万），减少循环次数提升效率；内存紧张时调小（比如1万），避免单批次内存溢出。
• 存储格式选择：Parquet是列式存储格式，相比CSV占用空间更小、读写速度更快，还能保留数据类型（避免CSV加载时的类型自动转换问题）。如果必须用CSV，只需把to_parquet替换为to_csv，read_parquet替换为read_csv。
• 内存清理优化：每次处理完一个分块后，手动删除临时变量并调用gc.collect()，确保Python及时释放内存，避免内存累积导致的崩溃。
• JSON解析适配：如果输入的extras Series已经是字典类型（而非序列化的JSON字符串），可以直接删除chunk_dicts这一步，直接用pd.DataFrame(chunk_series.tolist())转换。

内容的提问来源于stack exchange，提问作者INGl0R1AM0R1