使用Google Cloud Tasks替换Celery的运行逻辑与超时问题咨询

关于端点超时配置的问题 #

• 你用于接收用户请求、提交任务到Cloud Tasks的api/v1/tasks端点不需要调整超时配置：调用Cloud Tasks接口写入任务的耗时通常在几十毫秒级别，写入完成后即可直接返回200响应，完全不会触发超时。
• 被Cloud Tasks主动调用的api/v1/longtask任务执行端点必须调整超时配置：Cloud Tasks调用目标HTTP端点时会等待端点返回响应才判定任务执行成功，若使用默认60秒超时，你运行1小时的任务会被Cloud Tasks判定为执行失败，进而触发自动重试，导致任务被重复执行。

Cloud Tasks 任务端运行逻辑说明 #

Cloud Tasks的任务触发逻辑为同步调用模式：你在提交任务时指定的目标端点，会由Cloud Tasks服务在后台主动发起HTTP请求调用，调用过程的超时上限支持自定义配置，上限取决于你部署任务端点的基础设施：

• 若端点部署在Cloud Functions/Cloud Run上，可将超时最大设置为1小时，刚好匹配你1小时的任务运行需求
• 若端点部署在GKE、Compute Engine等自建服务上，可将Cloud Tasks任务超时最大设置为24小时，同时同步调整你服务内部、反向代理（如Nginx）的超时配置即可

如果你的任务运行时长超过对应基础设施支持的最大超时，也可以沿用Celery的异步处理思路：端点接收到Cloud Tasks的调用请求后，立刻将任务丢到服务内部的后台进程执行，同时直接给Cloud Tasks返回200响应，这种场景下不需要拉长端点超时，但是需要你自行处理任务执行失败的重试、状态追踪逻辑。
Cloud Functions确实是更适配的轻量化方案，你不需要维护底层服务资源，仅需要编写任务执行逻辑，配置Cloud Tasks触发规则即可直接使用。

内容的提问来源于stack exchange，提问作者Denis