通过RunDeck API获取项目全量job最新执行记录的高效方案问询

你当前使用的串行两步方案本质是N+1查询模式，性能瓶颈主要是请求数过多、串行IO阻塞，可通过以下方式大幅提升效率：

• 优先使用官方批量查询接口，仅需2次请求即可完成全量数据拉取
  先调用一次接口拉取项目全量Job列表，拿到所有Job的ID集合后，直接调用RunDeck的/api/<版本号>/executions接口，传入以下参数即可一次性获取所有Job的最新1条执行记录：

  • jobIdFilter：传入你拿到的所有Job ID的集合
  • maxPerJob：设为1，指定每个Job最多返回1条执行记录
  • sortBy：设为date-started，按执行启动时间排序
  • sortOrder：设为descending，倒序取最新的执行记录
    这种方式把原来的N次单Job查询合并为1次批量查询，请求数从N+1降到2，性能提升幅度和Job数量成正比，Job越多收益越明显。如果你的项目Job数量极多，超过了接口单页返回的最大限制，可以把Job ID拆分为多批调用批量接口，每批传入几百个ID，仍然远优于单Job串行查询。

• 次选方案：把串行查询改为异步并发查询
  如果你用的RunDeck版本过旧不支持maxPerJob参数，就把原来的串行单Job查询改为异步并发请求，只要根据RunDeck的接口限流规则合理设置并发数（一般建议控制在10~20并发以内即可），就能把查询耗时从原来的单次请求耗时 * Job数量降到接近单次请求的耗时，效率远高于串行方案。

• 高频查询场景增加缓存优化
  如果你需要高频拉取这个数据，可以在本地增加缓存层，把Job的最新执行记录缓存起来，设置合理的过期时间（比如和你Job的最低执行间隔对齐），仅在缓存过期时才调用接口拉取最新数据，进一步降低接口请求频率和查询耗时。

内容的提问来源于stack exchange，提问作者Aaron Kent