如何在Python中高效解析超大型JSON文件？

针对你解析10GB+ JSON文件时遇到的性能瓶颈，结合你已尝试过json、ijson、jsonlines的情况，以下是几个更高效的解决方案：

1. 使用SIMD加速的JSON解析库（pysimdjson） #

simdjson是基于SIMD指令集的超高速JSON解析库，Python绑定pysimdjson支持增量解析大文件，性能远高于传统解析库，可直接定位到目标数组元素进行遍历，无需处理底层事件流。

安装：

pip install pysimdjson

示例代码（提取orders数组中的每个订单）：

import simdjson

with open('large_file.json', 'rb') as f:
    parser = simdjson.Parser()
    # 增量解析并遍历orders数组
    for order in parser.iter_array(f, path='orders'):
        # 按需处理订单数据，比如提取关键字段
        print(f"订单ID: {order['order_id']}, 客户: {order['customer']['name']}")

2. 优化ijson的使用方式 #

你之前使用的ijson.parse会生成所有底层解析事件，效率较低。改用ijson.items直接定位到目标数组元素，可大幅减少不必要的事件处理开销：

import ijson

with open('large_file.json', 'r') as f:
    # 直接遍历orders数组中的每个对象
    for order in ijson.items(f, 'orders.item'):
        # 处理订单数据
        print(order['order_id'], order['total_amount'])

如果需要进一步提升性能，可安装ijson的C扩展后端（依赖yajl2）：

pip install ijson[yajl2]

3. 转换为JSON Lines格式并使用ujson解析 #

如果有权限预处理JSON文件，将嵌套的数组结构转换为JSON Lines格式（每行一个订单对象），再用C实现的高速JSON库ujson逐行解析，速度会显著提升。

安装ujson：

pip install ujson

预处理+解析示例：

import ijson
import ujson

# 读取原文件并转换为JSON Lines格式
with open('large_file.json', 'r') as infile, open('orders.jsonl', 'w') as outfile:
    for order in ijson.items(infile, 'orders.item'):
        outfile.write(ujson.dumps(order) + '\n')

# 快速解析JSON Lines文件
with open('orders.jsonl', 'r') as f:
    for line in f:
        order = ujson.loads(line)
        # 处理订单数据
        print(order['customer']['email'])

4. 多进程并行解析 #

利用Python的multiprocessing模块将文件分段，并行解析不同部分（需确保每个文件块是完整可解析的JSON片段，比如拆分orders数组为多个独立的子数组文件）：

import ijson
from multiprocessing import Pool

def parse_chunk(chunk_path):
    # 解析单个文件块中的订单
    with open(chunk_path, 'r') as f:
        orders = list(ijson.items(f, 'orders.item'))
    # 添加自定义数据处理逻辑，比如统计、字段提取
    return len(orders)

# 假设已将大文件拆分为3个可独立解析的块文件
chunk_paths = ['chunk1.json', 'chunk2.json', 'chunk3.json']

if __name__ == '__main__':
    with Pool(processes=3) as pool:
        results = pool.map(parse_chunk, chunk_paths)
        print(f"总计解析订单数: {sum(results)}")

额外优化技巧 #

• 用二进制模式（'rb'）打开文件，避免字符编码转换的额外开销；
• 一次性读取较大的文件块（如64KB）再解析，减少IO操作次数；
• 避免在解析循环中执行耗时操作（如打印、实时数据库写入），可先缓存数据再批量处理。

内容的提问来源于stack exchange，提问作者Wago Filho