如何在内存受限情况下读取JSON文件中的指定行？

针对800万行的大型JSON文件，要在不加载整个文件到内存的前提下读取指定行，核心思路是逐行迭代文件流，跳过目标行之前的所有内容，避免占用过多内存。以下是实现方案：

基础实现（单次读取） #

这个方法适合偶尔读取指定行的场景，无需额外预处理：

def read_line(file_name, line_number):
    # 处理行号合法性，假设行号从1开始计数
    if line_number < 1:
        return None
    
    with open(file_name, 'r', encoding='utf-8') as f:
        for current_line_num, line in enumerate(f, start=1):
            if current_line_num == line_number:
                # 返回去除换行符的行内容，可根据需求调整
                return line.strip()
        # 如果循环结束没找到，说明行号超出文件总行数
        return None

关键细节说明 #

• 使用with语句管理文件句柄，确保文件自动关闭，避免资源泄漏
• enumerate(f, start=1)让行号从1开始计数，匹配函数参数的直觉逻辑
• 逐行迭代时，Python不会把整个文件加载到内存，只会在内存中保留当前行的内容

优化方案（频繁读取场景） #

如果需要多次读取不同行，逐行遍历的效率会很低。可以预先建立行偏移索引，记录每一行在文件中的起始字节位置，后续读取直接通过seek定位，大幅提升速度：

def build_line_index(file_name, index_file='line_index.txt'):
    with open(file_name, 'r', encoding='utf-8') as f, open(index_file, 'w', encoding='utf-8') as idx_f:
        offset = 0
        idx_f.write(f"{offset}\n")
        while True:
            line = f.readline()
            if not line:
                break
            offset += len(line.encode('utf-8'))
            idx_f.write(f"{offset}\n")

def read_line_with_index(file_name, line_number, index_file='line_index.txt'):
    if line_number < 1:
        return None
    
    # 读取索引文件，获取目标行的起始偏移
    try:
        with open(index_file, 'r', encoding='utf-8') as idx_f:
            offsets = [int(line.strip()) for line in idx_f]
            if line_number > len(offsets):
                return None
            target_offset = offsets[line_number - 1]
    except FileNotFoundError:
        print("请先运行build_line_index建立行索引")
        return None
    
    # 定位到目标偏移并读取行
    with open(file_name, 'r', encoding='utf-8') as f:
        f.seek(target_offset)
        return f.readline().strip()

使用步骤 #

1. 先运行build_line_index('your_large_json.json')，生成行索引文件（仅需执行一次）
2. 之后调用read_line_with_index('your_large_json.json', line_number)即可快速读取指定行

注意事项 #

• 以上方案适用于JSON Lines格式（每行是一个独立的JSON对象），如果你的JSON文件是单个大数组（比如整个文件被[]包裹，每行是数组元素的一部分），单独读取某一行无法得到有效的JSON，这种情况需要特殊处理（比如按字符流解析JSON结构）
• 索引文件的大小远小于原JSON文件，800万行的索引文件大约几十MB，不会占用过多内存

内容的提问来源于stack exchange，提问作者liam jrj