如何在GKE环境中调整Dask scheduler的内存分配解决任务报错问题

调整方案 #

你当前的代码仅配置了Worker的资源参数，调度器（Scheduler）的资源限制是在Dask Gateway的集群配置侧控制，有两种修改方式：

方式1：修改Dask Gateway部署的Helm配置（永久生效，集群管理员操作即可） #

默认Dask Gateway通过Helm部署时，调度器的内存上限默认值为2GB，和你遇到的阈值一致，你可以修改部署用的values.yaml配置文件：

gateway:
  backend:
    scheduler:
      cores:
        limit: 4
        request: 2
      memory:
        limit: "16G" # 按需调整为需要的上限，你的GKE节点内存充足，可设置为8G~32G
        request: "8G"

修改完成后执行更新命令生效：
helm upgrade dask-gateway dask/dask-gateway -f <你的values.yaml文件路径> -n <dask-gateway部署的命名空间>

方式2：客户端提交任务时动态配置（需集群提前开放对应权限） #

如果你的Dask Gateway集群管理员开放了用户自定义调度器资源的权限，你可以直接在当前的任务提交代码中新增调度器配置：

options.worker_memory = 32
options.worker_cores = 10
# 新增调度器资源配置，单位和worker参数保持一致，此处为GB
options.scheduler_memory = 16
options.scheduler_cores = 2
cluster = gateway.new_cluster(options)
cluster.adapt(minimum=4, maximum=20)

如果运行时提示options没有对应属性，说明集群未开放该配置权限，需采用方式1修改集群侧配置。

额外优化建议 #

• 可在调度器配置中添加参数dask.scheduler.memory.target-fraction: 0.7，开启内存溢出保护，避免内存触及上限直接被Kubernetes驱逐
• 任务逻辑侧尽量避免传递大量全局变量到调度器，减少不必要的内存占用
• 高并发场景下可给调度器配置本地持久化存储，将任务图中间状态落盘，降低内存压力

内容的提问来源于stack exchange，提问作者Sankalp Patnaik