如何不加载完整JSON文件提取文本？求Python等效实现示例

我知道Python的lxml库可以无需完整解析XML文件，通过XPath提取文本，这种方式比BeautifulSoup更快，尤其适合大文件处理，示例代码如下：

from lxml import etree
tree = etree.XML('<foo><bar>abc</bar></foo>')
print(type(tree))
r = tree.xpath('/foo/bar')
print([x.tag for x in r])

我了解到JsonPath的概念，但没找到无需使用json.load()就能从JSON文件提取文本的Python示例，能不能提供相关的示例？谢谢。

解决方案：使用流式JSON解析库ijson #

嘿，你要的这种流式处理JSON的需求完全可以实现！推荐你用ijson这个库——它专门针对大JSON文件设计，支持流式解析，不需要一次性把整个文件加载到内存里，和lxml处理XML的思路完美匹配。

第一步：安装ijson #

先通过pip安装这个库：

pip install ijson

第二步：示例代码 #

假设我们有一个大JSON文件large_data.json，结构大概是这样的：

{
  "products": [
    {"id": 1, "name": "Laptop"},
    {"id": 2, "name": "Phone"},
    {"id": 3, "name": "Tablet"}
  ],
  "metadata": {"total": 3, "category": "electronics"}
}

示例1：提取数组中的所有元素

如果要提取products数组里的每一个商品对象，代码如下：

import ijson

# 以二进制模式打开文件（ijson推荐这种方式）
with open('large_data.json', 'rb') as f:
    # 使用ijson.items()，传入JsonPath风格的路径
    for product in ijson.items(f, 'products.item'):
        print(f"商品ID: {product['id']}, 名称: {product['name']}")

这里的'products.item'就是JsonPath风格的路径，表示遍历products数组下的每一个元素，整个过程是逐块读取文件，内存占用极低。

示例2：提取单个指定值

如果只需要提取metadata.total这个单个值，可以这样写：

import ijson

with open('large_data.json', 'rb') as f:
    # 使用next()获取第一个匹配的结果（因为是单个值）
    total_products = next(ijson.items(f, 'metadata.total'))
    print(f"商品总数: {total_products}")

为什么这能替代json.load()？ #

json.load()会把整个JSON文件加载到内存里转换成Python字典，对于几个GB的大文件来说根本行不通；而ijson是基于事件驱动的解析，逐块处理JSON数据，只在需要的时候提取你指定路径的内容，内存占用几乎可以忽略，和lxml处理大XML的高效逻辑完全一致。

内容的提问来源于stack exchange，提问作者user1424739