如何在Jenkins插件依赖递归遍历中避免重复处理已访问元素？

我懂你现在的困扰——这段代码爬取Jenkins插件依赖时会陷入无限循环，本质原因就是没有跟踪已经处理过的插件，导致同一个插件被反复请求、反复添加到依赖列表里，甚至出现循环依赖（比如A依赖B，B又依赖A）的时候直接卡死。

解决这个问题的核心思路就是维护一个已访问插件的集合，每次处理插件前先检查它是否已经被处理过：如果没处理过，再去请求API获取依赖；如果已经处理过，直接跳过，避免重复操作。

修改后的代码示例 #

from requests import Session

session = Session()
deps = []
visited = set()  # 用集合记录已处理的插件，查找效率更高

def get_plugin_deps(plugin_name):
    # 先检查是否已经处理过这个插件，避免重复请求和循环
    if plugin_name in visited:
        return
    visited.add(plugin_name)
    
    # 请求插件API
    url = f"https://plugins.jenkins.io/api/plugin/{plugin_name}"
    reqs = session.get(url)
    reqs.raise_for_status()  # 增加错误处理，避免API请求失败导致报错
    response = reqs.json()
    
    # 处理当前插件的依赖
    for item in response.get('dependencies', []):
        dep_name = item['name']
        deps.append(dep_name)
        # 递归处理依赖的依赖
        get_plugin_deps(dep_name)

def main():
    user_input = input('Enter a jenkins plug-in name: ')
    print(f"Starting to crawl dependencies for: {user_input}")
    # 先把初始插件加入已访问，避免后续重复处理
    visited.add(user_input)
    # 获取初始插件的依赖并递归处理
    get_plugin_deps(user_input)
    print("\nAll unique dependencies (recursive):")
    print(deps)

if __name__ == "__main__":
    main()

关键改进点说明 #

• visited 集合：用集合而不是列表来记录已处理的插件，因为集合的成员查找操作是O(1)时间复杂度，比列表的O(n)高效得多，尤其是依赖数量多的时候。
• 递归+提前检查：每次调用get_plugin_deps时先判断插件是否已访问，已访问直接返回，避免重复请求API和循环。
• 错误处理：增加reqs.raise_for_status()，如果API请求失败（比如插件名输入错误）会直接抛出异常，方便排查问题。
• 清晰的流程拆分：把获取依赖的逻辑拆成单独的函数，主函数负责获取用户输入和启动流程，代码可读性更好。

原代码的问题分析 #

原代码的逻辑是先把初始插件的依赖加到deps，然后遍历整个deps列表去获取每个元素的依赖，再把新依赖加到deps里——这就导致每次新加入的依赖又会被下一轮遍历处理，哪怕是已经处理过的插件，比如：

1. 初始插件A的依赖是B，加到deps
2. 遍历deps中的B，获取B的依赖A，加到deps
3. 下一轮遍历又会处理新加入的A，再次获取B，无限循环下去

而用visited集合就能从根源上避免这个问题，每个插件只会被处理一次。

内容的提问来源于stack exchange，提问作者CK5