跨AWS实例部署Dask调度器与Worker容器任务停滞报错求助

核心问题定位 #

从现象看，调度器和Worker能完成注册握手，但任务无法下发执行，本质是调度器与Worker之间的任务通信通道未建立成功，而非Dask不支持跨实例架构（Dask原生支持分布式跨节点部署）。

具体排查与解决步骤 #

• 检查Worker任务通信端口的网络连通性
  Dask Worker与调度器的注册使用默认8786端口，但任务执行、数据交换依赖Worker自身的服务端口（默认随机分配）。如果AWS安全组/VPC未开放该端口范围，调度器无法向Worker下发任务。
  解决：启动Worker时指定固定端口范围，比如：

  dask-worker tcp://scheduler-ip:8786 --port 9000-9010 --contact-address tcp://worker-ip:9000
  

  同时在AWS安全组中开放9000-9010端口，允许调度器实例的IP访问（仅限VPC内部）。

• 补全--contact-address的端口信息
  仅指定Worker实例IP作为--contact-address时，调度器可能无法获取Worker的服务端口，导致无法建立任务流。需明确指定端口：

  dask-worker tcp://scheduler-ip:8786 --contact-address tcp://worker-ip:9000 --port 9000
  

• 修正Docker端口映射/网络模式
  如果Worker容器使用默认bridge模式，需确保容器端口映射到主机实例：

  docker run -p 9000:9000 daskdev/dask-worker tcp://scheduler-ip:8786 --contact-address tcp://worker-ip:9000 --port 9000
  

  更简便的方式是使用主机网络模式，让容器直接复用主机网络栈，避免端口映射问题：

  docker run --network host daskdev/dask-worker tcp://scheduler-ip:8786 --contact-address tcp://worker-ip:9000 --port 9000
  

• 验证通信通道
  在调度器实例上执行telnet worker-ip 9000，若能连通则网络配置正常；若不通，优先排查安全组规则、VPC路由表、Docker网络配置。

内容的提问来源于stack exchange，提问作者Leland