Dataproc中基于Presto查询负载实现自动扩缩容的问题咨询

你的观点是否正确？ #

完全正确。Dataproc默认的自动扩缩容策略基于YARN的资源使用指标（如内存、CPU利用率）触发节点增减，但选择性部署的Presto是独立运行的服务，其worker进程直接占用节点系统资源，不会向YARN申请或上报资源使用情况，YARN无法感知Presto的负载变化，因此默认策略不会触发扩缩容。

如何实现基于Presto负载的自动扩缩容？ #

可以通过以下方案实现：

1. 基于Cloud Monitoring自定义指标配置Dataproc扩缩容 #

• 采集Presto负载指标：Presto Coordinator默认通过8080端口暴露/v1/cluster和/v1/metrics端点，可获取active_tasks（活跃任务数）、queued_tasks（排队任务数）、worker_count（当前worker节点数）、cpu_usage（CPU使用率）等核心负载指标。通过Cloud Monitoring创建自定义采集任务，定期拉取这些指标并上报。
• 配置自定义扩缩容规则：在Dataproc集群的自动扩缩容设置中，添加基于上述Presto指标的规则：
  • 扩容规则：例如当queued_tasks持续5分钟超过100，或active_tasks与worker_count的比值超过单节点承载上限（如20）时，触发扩容。
  • 缩容规则：例如当queued_tasks持续10分钟为0，且active_tasks远低于单节点承载量时，触发缩容。

2. 用Cloud Functions结合Dataproc API实现自定义逻辑 #

• 编写Cloud Functions，定期查询Presto Coordinator的负载指标，或监听Cloud Monitoring中Presto指标的告警事件。
• 根据自定义的负载判断逻辑（比如任务队列长度、worker资源利用率），调用Dataproc的clusters.update API调整集群worker节点数量。
• 注意：Dataproc选择性部署的Presto默认支持自动发现新节点，新增worker会自动注册到Coordinator，无需额外配置。

3. 配套优化Presto配置 #

• 调整node-scheduler.max-pending-tasks-per-node参数，设置单节点的任务队列上限，避免负载过载。
• 确保Presto Coordinator的discovery-server.enabled配置为true，保证新节点能自动完成注册。

内容的提问来源于stack exchange，提问作者yumetukushi