如何搭建worker分布在不同网络下的Dask分布式集群

跨网络部署失败的核心原因是默认配置下dask-scheduler仅绑定私网IP，其他网络下的worker无法直连调度器，可通过以下三种方案实现部署：

方案1：公网端口映射 #

• 为运行dask-scheduler的设备申请公网IP，或在调度器所在网络的出口网关配置端口映射，将TCP 8786（调度器通信端口）、TCP 8787（Web UI端口）映射到调度器设备的对应端口
• 启动调度器时指定监听所有网卡地址，命令如下：
  dask scheduler --host 0.0.0.0 --dashboard-address 0.0.0.0:8787
• 其他网络下的worker启动时，直接使用调度器的公网IP+端口接入即可：
  dask worker tcp://<调度器公网IP>:8786
  注意：该方案需要确保运营商未封禁对应端口，建议额外配置IP白名单限制访问，避免端口被恶意扫描攻击

方案2：虚拟局域网隧道（内网穿透） #

如果无法获取公网IP，可以用内网穿透工具为所有集群节点搭建统一的虚拟局域网，让跨网设备逻辑上处于同一个私网段

• 所有节点接入虚拟局域网后，先测试各节点之间可正常互通
• 启动调度器时绑定虚拟局域网分配的私网IP：
  dask scheduler --host <调度器虚拟局域网IP>
• 跨网worker启动时填写调度器的虚拟局域网IP即可，部署逻辑和同一局域网下完全一致
  该方案不需要暴露端口到公网，安全性更高，适合个人测试场景使用

方案3：Dask Gateway统一接入 #

如果集群节点数量较多、或节点需要频繁切换网络，可以部署Dask Gateway作为统一接入层，自动处理跨网络的流量转发，无需每个节点都能直连调度器

• 优先选择有公网IP的节点部署Dask Gateway服务
• 所有跨网节点通过统一的Gateway地址认证接入，worker注册、任务提交都走Gateway代理，自动适配多网络环境

内容的提问来源于stack exchange，提问作者Michele Avella