You need to enable JavaScript to run this app. 如何在终端中实时获取Ray指定PID对应的进程日志
优惠活动
大模型
产品
解决方案
定价
更多

如何在终端中实时获取Ray指定PID对应的进程日志

实时显示指定PID对应Ray进程日志的实现方案

Ray Dashboard的日志展示逻辑本质是读取各节点本地落盘的进程日志文件,无需额外对接接口,直接定位目标PID对应的日志文件后,用终端实时追踪工具即可实现滚动输出,具体操作如下:

1. 定位Ray会话的日志根目录

Ray启动业务进程时,会把所有worker、actor的日志统一存储到当前会话的专属目录,默认路径为:

~/ray/session_latest/logs/

路径校验方法:执行ls ~/ray/session_latest/logs/,如果能看到raylet.out、gcs_server.out这类Ray核心进程日志文件,说明路径有效。

2. 匹配目标PID对应的日志文件

Ray的业务进程日志命名规则为worker-[节点IP]-[PID]-[Actor随机ID].out,和你看到的Actor标识、PID信息完全对应,直接在日志根目录下检索带目标PID(示例中为87972)的文件即可:

# 检索所有匹配目标PID的worker日志文件
ls ~/ray/session_latest/logs/ | grep 87972

执行后会得到两类匹配文件:

  • .out后缀文件:存储进程的标准输出内容,也就是你在Dashboard上看到的业务打印日志来源
  • .err后缀文件:存储进程的标准错误输出,包括运行时报错栈、第三方库异常信息

3. 终端实时滚动显示日志

拿到匹配的日志文件路径后,直接用系统原生的tail -f命令即可实时追踪日志新增内容:

# 替换为实际匹配到的.out文件路径
tail -f ~/ray/session_latest/logs/worker-192.168.0.101-87972-69a6825d641b461327313d1c01000000.out

如果需要同时追踪标准输出和错误日志,可把两个文件路径都传给tail命令,实现合并滚动输出:

tail -f \
  ~/ray/session_latest/logs/worker-192.168.0.101-87972-69a6825d641b461327313d1c01000000.out \
  ~/ray/session_latest/logs/worker-192.168.0.101-87972-69a6825d641b461327313d1c01000000.err

结合已有psutil逻辑的自动化封装

你已经实现了PID存在性校验,可以把日志定位、实时追踪的逻辑整合为可直接运行的脚本,避免手动检索文件路径,参考代码如下:

import os
import subprocess
import psutil

# 配置参数
TARGET_PID = 87972
RAY_LOG_ROOT = os.path.expanduser("~/ray/session_latest/logs/")

# 校验目标进程是否存在
if not psutil.pid_exists(TARGET_PID):
    print(f"PID {TARGET_PID} 对应的进程不存在")
    exit(1)

# 检索匹配目标PID的日志文件
matched_logs = []
for log_name in os.listdir(RAY_LOG_ROOT):
    # 仅匹配Ray业务worker的日志文件
    if log_name.startswith("worker-") and str(TARGET_PID) in log_name:
        matched_logs.append(os.path.join(RAY_LOG_ROOT, log_name))

if not matched_logs:
    print(f"未在Ray日志目录中找到PID {TARGET_PID} 对应的日志文件")
    exit(1)

# 启动实时日志追踪
print(f"开始实时输出PID {TARGET_PID} 的日志,按Ctrl+C退出")
subprocess.run(["tail", "-f"] + matched_logs)

常见注意事项

  • 如果检索不到对应日志文件,优先确认当前Ray客户端连接的是不是启动目标Actor的集群,切错集群会导致session目录下的日志不匹配
  • 如果发现日志很久才刷新一次,大概率是Python的标准输出被系统缓冲了,可在启动Ray任务时设置环境变量PYTHONUNBUFFERED=1,让业务打印的日志实时写入日志文件,无需等缓冲区攒满
  • 跑在远程节点的业务进程,只要Ray集群网络互通,不需要手动SSH到节点上找日志,日志元信息会自动同步到本地的当前session目录下

内容的提问来源于stack exchange,提问作者jrrysprng02

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 01:15:06