API调用IP地址配额超限问题及解决方案咨询

我们为大量客户通过API拉取数据，每个客户使用独立密钥，但所有请求均从我方IP发出。近期缩减IP数量后，大量收到quota exceeded提示，但单个密钥并未超出配额，推测存在未公开的单IP配额限制。

报错示例（已翻译） #

[2023-06-19T02:41:12.6561] 463744: [站点审计.工作线程:警告] query_gapi_psi: API错误 url=https://example.com/page. (Gapi_common.E_Request    {"error":{"errors":[{"domain":"使用限制","reason":"速率限制已超出","message":"配额已超出。请稍后重试。"}],"code":429,"message":"配额已超出。请稍后重试。"}})

可行方案 #

• 恢复或扩展IP池：重新启用之前缩减的部分IP，或者新增IP资源，将请求分散到多个IP上，降低单IP的请求密度，避开隐形的单IP配额限制。
• 控制单IP请求速率：给每个IP设置请求频率上限，比如限制单IP每分钟/每小时的请求次数，哪怕单个客户密钥还有剩余配额，也避免单IP请求过于集中。
• 联系API服务商确认规则：直接对接对应API的官方支持，明确询问是否存在单IP维度的速率限制，了解规则细节后，申请调整配额或获取更宽松的限制条件。
• 优化请求逻辑：对重复查询的结果进行缓存，减少重复请求；合并可批量处理的请求，降低总请求量，从根源上减轻IP层面的请求压力。

内容的提问来源于stack exchange，提问作者user1624562