如何读取大型JSON数组指定索引的子数组（无需全量加载）

核心思路是流式解析JSON：无需加载整个文件到内存，而是逐段读取并解析子数组，同时计数，匹配目标索引时直接返回结果，终止后续读取。

方法一：Python标准库实现（无额外依赖） #

利用json.JSONDecoder.raw_decode方法，手动处理文件指针和分隔符，适合环境受限的场景：

import json

def get_target_subarray(file_path, target_index):
    with open(file_path, 'r', encoding='utf-8') as f:
        # 跳过顶层数组开头的[及空白字符
        while True:
            char = f.read(1)
            if char == '[':
                break
            if not char:
                raise ValueError("JSON顶层结构不是数组")
        
        current_idx = 0
        decoder = json.JSONDecoder()
        
        while True:
            # 跳过子数组前的空白
            while True:
                char = f.read(1)
                if char not in ' \t\n\r':
                    f.seek(f.tell() - 1)
                    break
                if not char:
                    raise ValueError("文件提前结束")
            
            # 解析当前子数组
            try:
                # 读取足够内容进行解析，修正指针位置
                buffer = f.read(4096)
                subarray, pos = decoder.raw_decode(buffer)
                f.seek(f.tell() - (len(buffer) - pos))
            except json.JSONDecodeError:
                raise ValueError(f"解析索引{current_idx}的子数组失败")
            
            if current_idx == target_index:
                return subarray
            
            current_idx += 1
            
            # 跳过子数组后的分隔符,及空白，或检查数组是否结束
            while True:
                char = f.read(1)
                if char == ',':
                    break
                if char == ']':
                    raise IndexError(f"目标索引{target_index}超出数组范围")
                if not char:
                    raise ValueError("文件未正确闭合数组")

方法二：第三方库ijson（更简洁） #

ijson是专为流式JSON解析设计的库，无需手动处理指针和分隔符，代码更简洁：

1. 先安装依赖：

pip install ijson

2. 实现代码：

import ijson

def get_target_subarray(file_path, target_index):
    with open(file_path, 'r', encoding='utf-8') as f:
        # 遍历顶层数组的每个元素，匹配目标索引
        for idx, subarray in enumerate(ijson.items(f, 'item')):
            if idx == target_index:
                return subarray
        raise IndexError(f"目标索引{target_index}超出数组范围")

注意事项 #

• 确保JSON格式严格合规，尤其是子数组间的逗号分隔、空白字符处理
• 即使目标索引很大（如百万级），两种方式的内存占用都仅取决于单个子数组的大小，远低于加载整个文件
• 若需处理极大型文件，ijson的实现更易维护，标准库实现则适合无法安装第三方包的场景

内容的提问来源于stack exchange，提问作者Ymi