如何高效遍历Python大型JSON对象提取指定键值对？

一、原生Python循环优化 #

你的基础循环逻辑没问题，但可以通过减少字典重复查找来提升性能——每次循环里两次访问item['attributes']，可以提前把这个子对象存起来，减少不必要的字典查询开销：

for item in json_data['data']:
    attr = item['attributes']
    print(f"Name: {attr['name']}, Value: {attr['value']}")

如果需要存储结果，生成器表达式比列表推导更省内存（数据量极大时，生成器不会一次性把所有数据加载到内存，而是按需生成）：

# 生成器，按需产出键值对
result_gen = ((item['attributes']['name'], item['attributes']['value']) for item in json_data['data'])

# 遍历生成器处理结果
for name, value in result_gen:
    print(f"Name: {name}, Value: {value}")

也可以结合operator.itemgetter来简化写法，它是C实现的字典查找，比手动索引略快：

from operator import itemgetter

# 定义提取规则
get_attributes = itemgetter('attributes')
get_name_value = itemgetter('name', 'value')

# 批量提取
result = map(lambda x: get_name_value(get_attributes(x)), json_data['data'])
for name, value in result:
    print(f"Name: {name}, Value: {value}")

二、用pandas快速处理（适合后续数据分析场景） #

如果提取后需要做过滤、统计等数据分析操作，pandas的json_normalize是最优选择——它能直接把嵌套JSON扁平化，底层用C加速，处理大型数据的效率远高于纯Python循环：

import pandas as pd

# 将嵌套JSON扁平化为DataFrame
df = pd.json_normalize(json_data['data'])

# 提取目标列
target_df = df[['attributes.name', 'attributes.value']]

# 遍历或直接操作DataFrame
for idx, row in target_df.iterrows():
    print(f"Name: {row['attributes.name']}, Value: {row['attributes.value']}")

如果需要把结果转成字典列表，直接调用to_dict即可：

name_value_list = target_df.to_dict('records')

三、超大型JSON的流式处理（避免内存溢出） #

如果JSON文件大到无法一次性加载到内存（比如几十GB级别），别用json.load()全量读取，改用ijson库流式解析，逐行处理：

import ijson

# 流式读取并解析JSON文件
with open('large_data.json', 'r') as f:
    # 逐个读取data数组中的元素
    for item in ijson.items(f, 'data.item'):
        attr = item['attributes']
        print(f"Name: {attr['name']}, Value: {attr['value']}")

这种方式不会把整个JSON加载到内存，内存占用极低，适合处理超大规模数据。

四、最佳实践 #

• 错误防护：如果JSON结构可能存在缺失键的情况，用dict.get()避免KeyError：

  attr = item.get('attributes', {})
  name = attr.get('name', 'Unknown')
  value = attr.get('value', 'Unknown')
  

• 优先内存效率：不需要保存所有结果时，优先用生成器而非列表；超大型数据必须用流式处理。
• 工具匹配场景：纯提取键值对用原生优化循环足够；需要数据分析用pandas；超大型文件用ijson流式处理。

内容的提问来源于stack exchange，提问作者hotnoob