如何从拼接后的URL检测列表中定位恶意URL对应的原始ID

你完全没必要等API返回恶意URL之后再嵌套遍历原字典做匹配，在准备拼接待检测URL列表的环节就提前做好映射关系，整体效率会比事后遍历高几个数量级。

具体实现步骤 #

• 遍历原字典的每一组ID: URL列表键值对，同时做两件事：一是把所有URL追加到待发送的统一大列表里；二是新建一个反向字典，把每个URL作为键，它所属的ID作为值存进去，同一个URL如果归属多个ID，就把值设为ID列表避免覆盖。
• 把拼好的统一URL列表传给外部API，这部分流程和你原计划完全一致，不需要改动API调用逻辑。
• 等API返回恶意URL列表时，直接用每个恶意URL查反向字典就能拿到对应ID，单条查询是O(1)的哈希查找，不需要任何嵌套循环对比。

代码参考（Python） #

# 原始存储字典
origin_id_urls = {
    "abc123":["https://www.url.com/", "https://www.url2.com"],
    "def456": ["https://www.url3.com/"],
    "xyz890": ["https://www.anotherurl.com/", "https://anotherurl2.com/", "https://www.anotherurl3.com/"]
}

# 同步构建全量URL列表 + 反向映射字典
url_to_belong_ids = {}
all_detect_urls = []
for id_val, urls in origin_id_urls.items():
    for url in urls:
        all_detect_urls.append(url)
        # 兼容同一URL归属多个ID的场景
        url_to_belong_ids.setdefault(url, []).append(id_val)

# 调用检测API传入all_detect_urls，拿到返回的恶意URL列表示例
malicious_from_api = ["https://www.url2.com/", "https://www.anotherurl.com/"]
# 直接查询得到恶意URL对应的ID集合
malicious_id_result = {url: url_to_belong_ids[url] for url in malicious_from_api if url in url_to_belong_ids}

效率对比 #

• 常规遍历方案：假设总共有S条URL，K条恶意URL，最坏情况需要做KS次字符串对比，时间复杂度为O(KS)，数据量一大就会出现明显性能损耗。
• 反向映射方案：构建索引的时间为O(S)，查询恶意URL对应ID的时间为O(K)，整体时间复杂度为O(S+K)，哪怕面对十万级的URL规模，也能做到毫秒级响应。

额外注意事项 #

• 一定要做URL归一化处理：如果API返回的URL存在结尾斜杠差异、大小写不同、编码转义不一致的情况，可以在构建反向索引前统一做标准化（比如把所有URL转成小写、去掉无意义的结尾斜杠、解码统一编码格式），避免因为字符串不完全一致导致匹配失败。
• 内存成本完全可控：反向字典本质是把原数据的键值关系做了反转，存储成本仅比原数据高不到20%，远低于嵌套遍历带来的时间损耗。

内容的提问来源于stack exchange，提问作者Marry35