如何基于Google Earth Engine与Google Cloud Platform实现并行处理

结论先行 #

Kubernetes完全可以解决你的需求，是这类批量并行任务场景的主流选型之一，除此之外也有更轻量化的替代方案可选，具体如下：

• 第一步先把你完整的4步处理逻辑打包成独立的Docker镜像：包含GEE导出触发逻辑、GCS文件拉取逻辑、本地影像处理脚本、GEE资产回传逻辑，保证单个容器启动后就能独立跑完一次完整任务
• 用Kubernetes的Job资源管理每一次任务，你有几百次任务就提交对应数量的Job，Kubernetes原生调度器会自动将Job对应的Pod调度到空闲的VM节点上运行；如果所有节点资源都被占满，未调度的Job会自动进入排队状态，等有节点释放资源后自动调度，完全覆盖你要求的空闲节点分配、无节点时自动等待的需求，不需要自己开发任何调度逻辑
• 如果需要对4个步骤做更精细化的编排（比如步骤1完成后才触发后续步骤、失败自动重试、任务状态统一追踪），可以搭配Kubernetes生态的Argo Workflows组件，把每个步骤拆成独立的任务节点，配置依赖关系即可
• 额外优势：如果你用的是Google Cloud的GKE托管Kubernetes集群，可以开启节点自动扩缩容能力，任务量大时自动新增VM节点，任务量小时自动释放节点，大幅降低资源成本

如果不想花时间学习Kubernetes的相关概念，用Google Cloud原生服务或轻量调度工具就能满足需求：

方案1：Google Cloud原生无运维方案 #

• 配置GCS存储桶的对象创建通知，GEE导出影像到存储桶后，自动触发通知将任务推入Cloud Tasks队列
• 你现有的多台Compute Engine VM统一作为任务处理节点接入Cloud Tasks队列，Cloud Tasks会自动将任务分配给空闲VM，无空闲节点时任务自动在队列中等待
• 你也可以完全不用自己维护VM，直接把处理逻辑打包成容器镜像用Cloud Run运行，Cloud Run会根据任务量自动扩缩容实例，不需要管资源调度问题

方案2：轻量任务队列方案 #

如果只想用现有VM集群，不想用云原生托管服务，可以用Celery+RabbitMQ/Redis的组合：

• 将单次处理逻辑封装为Celery任务，所有VM都部署Celery Worker进程接入消息队列
• 任务批量提交到消息队列后，会自动分配给空闲Worker执行，队列会自动积压待处理任务直到有空闲Worker，学习成本远低于Kubernetes，几百次任务的量级完全可以稳定运行

如果你团队已经有Kubernetes使用经验，或者后续有持续的大量处理任务需求，优先选Kubernetes方案；如果只是当前这一批数百次的处理任务，不想花额外时间学习新技术，优先选Google Cloud原生的Cloud Tasks方案，最快几天就能完成全流程搭建。

内容的提问来源于stack exchange，提问作者Adriano Matos