使用future包multisession时，后台死循环导致无输出问题排查

问题描述 #

我需要重复执行数据抓取操作，因此在后台进程中设置了死循环。使用R语言的future包并采用multisession计划编写测试代码后，运行时无任何输出；注释掉死循环后则能正常输出"bbb"。即使添加logger日志模块进行优化，仍然没有输出。

测试代码 #

library(future)
plan("multisession")

test_function <- function()
{
  while(TRUE)
  {
    print("aaaa")
    Sys.sleep(1);
  }
  print("bbb")
  return(0)
}

f <- future({
  test_function()
})
y <- value(f)

添加日志后的代码 #

library(future)
library(logger)
plan("multisession")

test_function <- function()
{
  while(TRUE)
  {
  t_log_path = tempfile()
    dir.create(t_log_path,recursive = TRUE)
    t_a = file.path(t_log_path,'import_data_log')
    log_appender(appender_tee(t_a, max_lines = 10))
    t_logger_layout <- layout_glue_generator(format = '{level} [{time}] {node}/{pid}/{namespace}/{fn}  {msg}')
    log_layout(t_logger_layout)
    log_info("log here")
    print("aaaa")
    Sys.sleep(1);
  }
  print("bbb")
  return(0)
}

# test_function()
f <- future({
  test_function()
})
y <- value(f)

原因分析 #

• 主线程被永久阻塞：value(f)是阻塞式调用，会一直等待子进程执行完成。但你的test_function包含死循环，子进程永远不会结束，导致主线程卡在value(f)处，无法处理任何输出。
• 子进程输出无法实时传递：multisession模式下，子进程的标准输出（比如print内容）默认会被缓存，只有子进程结束时才会把缓存内容传回主进程。死循环持续运行时，缓存不会刷新，主进程自然看不到输出。
• 日志配置混乱：死循环内每次都创建新的临时目录和日志文件，导致日志分散在不同临时文件中，主进程无法访问；同时重复设置日志配置会导致逻辑混乱，无法稳定输出日志。

解决方案 #

1. 避免主线程阻塞：不要直接用value(f)卡死主线程，改用resolved(f)定期检查子进程状态，让主进程可以同时处理其他操作。
2. 开启实时输出传递：通过全局配置options(future.stdout = TRUE, future.stderr = TRUE)，让子进程的输出实时传递到主进程；也可以在创建future时指定stdout = TRUE参数。
3. 优化日志配置：把日志初始化代码移出死循环，固定日志文件路径，确保所有日志写入同一个可访问的文件，避免重复创建配置。

修改后的示例代码 #

library(future)
library(logger)

# 配置multisession计划并开启实时输出
plan("multisession")
options(future.stdout = TRUE, future.stderr = TRUE)

# 初始化日志（仅执行一次）
log_dir <- file.path(getwd(), "crawl_logs")
dir.create(log_dir, recursive = TRUE, showWarnings = FALSE)
log_file <- file.path(log_dir, "import_data.log")
log_appender(appender_tee(log_file, max_lines = 100))
log_layout(layout_glue_generator(format = '{level} [{time}] {pid}  {msg}'))

test_function <- function()
{
  while(TRUE)
  {
    log_info("正在执行数据抓取")
    print("aaaa")
    Sys.sleep(1)
  }
  print("bbb")
  return(0)
}

# 创建后台任务
f <- future({
  test_function()
})

# 主线程定期检查任务状态，同时可以做其他操作
while(!resolved(f)) {
  cat("子进程运行中...\n")
  Sys.sleep(2)
}

# 死循环下以下代码不会执行，仅作示例
y <- value(f)

内容的提问来源于stack exchange，提问作者Chen Yu