Python如何高效检索嵌套JSON中指定来源的关联ID？

问题背景 #

我有一个包含多条数据的.json文件，单条数据格式如下：

{ 
  "name": "abc", 
  "time": "20220607T190731.442", 
  "id": "123", 
  "relatedIds": [ 
    { "id": "456", "source": "sourceA" }, 
    { "id": "789", "source": "sourceB" } 
  ] 
}

我需要将每条数据映射到Python对象中，但仅需获取来源为sourceA的关联ID。问题在于sourceA的关联ID并不固定在列表首位，用data['relatedIds'][0]['id']无法可靠获取正确值。

我当前的实现代码是：

import json
with open("filepath", 'r') as file:
    data = json.load(file)
for value in data['relatedIds']:
    if(value['source'] == 'sourceA'):
        id_from_a = value['id']
entry = Entry(data['name'], data['time'], data['id'], id_from_a)

但我觉得这个方案不够高效，尤其是当relatedIds列表很长、JSON条目很多时。想请教有没有办法不用遍历整个嵌套列表，就能筛选出指定来源的id？

解决方案 #

好问题！首先得明确：如果你的relatedIds列表没有预先建立索引（比如用source作为键的字典），本质上还是需要遍历列表来找到匹配项——但我们可以让这个过程更高效、代码更简洁，避免不必要的遍历开销。

1. 最直接的优化：找到匹配项后立即停止遍历

你的原代码会遍历整个relatedIds列表，哪怕第一个元素就是sourceA，还是会继续检查后面的项。我们可以用next()函数配合生成器表达式，找到第一个匹配项后就立刻停止遍历：

import json

class Entry:
    def __init__(self, name, time, id, id_from_a):
        self.name = name
        self.time = time
        self.id = id
        self.id_from_a = id_from_a

with open("filepath", 'r') as file:
    data = json.load(file)

# 生成器表达式遍历列表，找到第一个sourceA的id；未找到则返回None
id_from_a = next((item['id'] for item in data['relatedIds'] if item['source'] == 'sourceA'), None)

if id_from_a:
    entry = Entry(data['name'], data['time'], data['id'], id_from_a)
else:
    # 处理未找到sourceA的边界情况
    print("未找到来源为sourceA的关联ID")

这个方案的优势：

• 高效：一旦找到第一个匹配的sourceA项，就立即终止遍历，不会浪费资源检查后续元素，尤其适合长列表场景。
• 简洁：用一行代码完成筛选逻辑，可读性更强。

2. 处理多个sourceA的场景

如果你的业务中可能存在多个sourceA的关联ID，需要收集所有匹配项，可以用列表推导式（这种情况确实需要遍历整个列表）：

all_ids_from_a = [item['id'] for item in data['relatedIds'] if item['source'] == 'sourceA']

3. 进阶优化：预处理为字典（适合多次查询）

如果需要频繁按source查询关联ID，或者JSON文件很大、需要批量处理多条数据，建议先把relatedIds预处理成以source为键的字典，后续查询就能达到O(1)的时间复杂度：

import json

with open("filepath", 'r') as file:
    data = json.load(file)

# 预处理：将relatedIds转换为source到id列表的映射
related_source_map = {}
for item in data['relatedIds']:
    source = item['source']
    if source not in related_source_map:
        related_source_map[source] = []
    related_source_map[source].append(item['id'])

# 查询sourceA的第一个id
id_from_a = related_source_map.get('sourceA', [None])[0]
# 或者获取所有sourceA的id：related_source_map.get('sourceA', [])

if id_from_a:
    entry = Entry(data['name'], data['time'], data['id'], id_from_a)

这种方案的核心是用空间换时间，预处理一次后，后续的所有查询都无需再遍历列表，适合需要重复查询的场景。

内容的提问来源于stack exchange，提问作者studenprogrammer