如何分块加载多对象大型JSON至Pandas DataFrame以降低内存占用

针对你遇到的内存不足问题，这里提供两种实用的分块处理方案，核心思路是避免一次性加载全量数据到内存：

方案1：利用pandas原生分块读取参数 #

pd.read_json本身支持chunksize参数，配合lines=True可直接按指定行数分块读取，无需手动写循环：

import pandas as pd

# 按每1000行分块（可根据内存情况调整chunksize数值）
chunk_iter = pd.read_json("your_large_file.json", lines=True, chunksize=1000)

# 遍历每个数据块处理
for idx, chunk_df in enumerate(chunk_iter):
    # 这里可对单块数据做清洗、转换等操作
    # 示例：将块增量写入CSV（避免一次性生成大文件）
    chunk_df.to_csv("output.csv", mode="a", header=(idx==0), index=False)

这个方法最简洁，pandas会自动处理分块逻辑，你只需针对小DataFrame块完成后续操作（比如增量写入存储、逐块分析）。

方案2：手动分块读取并批量转换 #

如果需要更精细的控制，可以手动批量读取JSON行，再转换为小DataFrame块：

import json
import pandas as pd

batch_size = 1000  # 每批次处理的行数
data_batch = []

with open("your_large_file.json", "r") as f:
    for line_num, line in enumerate(f, 1):
        # 解析单行JSON
        data = json.loads(line.strip())
        data_batch.append(data)
        
        # 达到批次大小就转换为DataFrame并处理
        if line_num % batch_size == 0:
            batch_df = pd.DataFrame(data_batch)
            # 处理当前批次：比如写入文件
            batch_df.to_csv("output.csv", mode="a", header=(line_num==batch_size), index=False)
            # 清空批次列表释放内存
            data_batch = []
    
    # 处理剩余不足一个批次的数据
    if data_batch:
        batch_df = pd.DataFrame(data_batch)
        batch_df.to_csv("output.csv", mode="a", header=False, index=False)

注意事项 #

• 调整批次大小：根据8GB内存情况，测试不同的chunksize/batch_size（比如500、2000），找到内存占用和处理效率的平衡点。
• 避免全局合并DataFrame：如果最终不需要全量DataFrame，直接逐块写入存储（CSV/Parquet/数据库）是最优选择；若必须合并，可使用dask.dataframe这类支持分块操作的库，它能模拟全量DataFrame操作但实际在内存外处理。
• 优化数据类型：读取后的DataFrame块可提前指定列的dtype（比如将字符串列设为category类型，数值列设为int32/float32），进一步降低内存占用：

  # 示例：指定列类型
  dtype_spec = {"category_col": "category", "int_col": "int32"}
  chunk_df = chunk_df.astype(dtype_spec)
  

内容的提问来源于stack exchange，提问作者Sion