Ray客户端无法连接Azure集群：端口10001无监听进程排查求助

背景 #

我有一个包含@ray.remote函数的脚本，需要将工作负载部署到云端计算。通过Azure的“Deploy to Azure”按钮部署了Ray集群，头节点启动后，尝试在本地Windows机器上用以下代码连接头节点：

import ray
ray.init("ray://<headnodeip>:10001")

根据文档，头节点应暴露10001端口，可通过端口转发或公网暴露供本地脚本调用。

为排查连接超时问题，我手动启停头节点，执行命令：

ray start --head --port=6379 --object-manager-port=8076 --num-gpus=2 --dashboard-host=0.0.0.0 --include-dashboard=true --dashboard-port=8265 --log-style=pretty --verbose --ray-client-server-port=10001

日志显示INFO server.py:843 -- Starting Ray Client server on 0.0.0.0:10001，但客户端连接超时，且观察到：

• 本地Windows机器无法通过10001端口与集群建立TCP连接
• 在头节点执行ss | grep 10001无结果
• 仪表盘连接正常

疑问 #

1. 如何确认客户端服务器是否正确启动？
2. 头节点启动后，10001端口是否应在ss中显示？
3. 还可进行哪些排查操作解决问题？

更新 #

ray start命令提示使用以下代码从集群外部连接：

import ray
ray.init(address='ray://<head_node_ip_address>:10001')

我不理解为何用ss命令查不到10001端口的监听进程？

解答 #

1. 确认客户端服务器启动状态

• 除了启动日志的提示，执行ray processes命令，查看输出中是否存在ray_client_server相关进程，以及对应的监听地址和端口信息。
• 查看Ray的详细日志文件（默认路径为/tmp/ray/session_latest/logs/ray_client_server*.log），确认无启动报错，且有完整的成功启动记录。

2. 10001端口在ss中的显示情况

正常情况下应该能查到。需使用更精确的命令：sudo ss -tulpn | grep 10001，其中-p参数用于显示进程ID和名称，sudo确保权限足够查看所有进程。如果仍无结果，说明端口未被正确监听，进程可能未启动或启动失败。

3. 额外排查步骤

• 校验启动参数：确认使用的Ray版本支持--ray-client-server-port参数（旧版本可能用--client-port），版本不兼容会导致参数失效。
• 本地端口测试：在头节点执行nc -zv localhost 10001或telnet localhost 10001，验证本地是否能连接到该端口，排除端口未监听的问题。
• 检查防火墙规则：确认Azure头节点的网络安全组（NSG）已开放10001端口的入站TCP流量；同时检查节点内部防火墙（如iptables、ufw）是否放行该端口。
• 查看进程状态：执行ps aux | grep ray_client_server，确认进程是否在运行，若未运行，查看日志排查启动失败原因。
• 版本一致性检查：本地客户端的Ray版本必须与云端集群版本完全一致，版本不匹配会导致连接失败。

为何ss查不到10001端口

• Ray Client Server进程实际未启动：日志的启动提示仅为初始化步骤，进程可能因依赖缺失、端口被占用等异常退出。
• 参数未被识别：旧版本Ray不支持--ray-client-server-port参数，导致端口未按配置监听。
• 权限问题：未加sudo执行ss命令，无法查看系统级进程的端口监听信息，加上sudo后重试即可。

内容的提问来源于stack exchange，提问作者MaxWolodin