如何在R中获取后台运行Python脚本的实时进度更新？

问题背景 #

想要在R中获取后台运行的Python脚本的实时进度更新，但用pipe连接后，readLines要等到Python脚本完全运行完毕才返回输出，无法实时获取进度。

解决方案 #

1. 修改Python脚本（禁用输出缓冲） #

Python的print默认会缓冲输出，导致内容无法实时发送到管道。只需在print时强制刷新缓冲区：

from time import sleep
for i in range(10):
    print(f'file{i}.txt', flush=True)  # 加入flush=True强制刷新输出
    sleep(1)
print('done', flush=True)

也可以不修改Python脚本，运行时加-u参数直接禁用全局缓冲：python3 -u my_script.py

2. 修改R脚本（逐行实时读取） #

原R脚本中readLines(con)会等待脚本结束后一次性读取全部输出，需改为逐行读取：

# 若用Python的-u参数，这里命令改为"python3 -u my_script.py"；脚本加了flush=True则用原命令
con <- pipe("python3 my_script.py")

while(TRUE) {
    current_line <- readLines(con, n = 1)  # n=1表示仅读取一行
    if(length(current_line) == 0) {  # 管道关闭时返回空值，退出循环
        break
    }
    if(current_line == "done") {
        cat("Done processing files\n")
        break
    } else {
        cat(sprintf("Processing %s\n", current_line))
    }
}
close(con)  # 结束后关闭管道连接

原理说明 #

• Python端：通过flush=True或-u参数禁用标准输出缓冲，让每一次print的内容立即发送到管道，而非累积到缓冲区满才输出。
• R端：使用readLines(con, n=1)每次仅读取一行数据，无需等待全部输出，实现Python输出一行就立即处理一行的实时反馈效果。

内容的提问来源于stack exchange，提问作者Jeff Bezos