如何中断、保存并后续继续执行耗时循环？

针对你需要运行数天的循环，以下是几个更规范、更高效的实现方式，替代手动修改起始点的操作：

1. 自动读取检查点的基础方案 #

核心思路是用高效格式保存当前进度，每次启动脚本时自动读取上次中断的位置，无需手动修改代码：

# 定义检查点文件路径（用RDS格式，比CSV读写效率高）
checkpoint_file <- "loop_checkpoint.rds"

# 初始化循环起始值
start_i <- 1

# 如果检查点存在，读取上次完成的序号，从下一个值开始
if (file.exists(checkpoint_file)) {
  start_i <- readRDS(checkpoint_file) + 1
}

# 执行循环
for (i in start_i:100000) {
  Sys.sleep(i*2 + 5)
  print(i)
  
  # 保存当前进度到检查点（覆盖旧文件）
  saveRDS(i, checkpoint_file)
  
  # 可选：每N次写入一次日志，减少IO开销（比如每100次）
  if (i %% 100 == 0) {
    write.table(
      paste(Sys.time(), "完成第", i, "次循环"),
      "progress_log.txt",
      append = TRUE,
      row.names = FALSE,
      col.names = FALSE
    )
  }
}

# 循环正常完成后，删除检查点文件
if (file.exists(checkpoint_file)) {
  file.remove(checkpoint_file)
}

优势： #

• 自动续跑，无需手动修改起始点
• saveRDS/readRDS比write.csv/read.csv快得多，适合频繁保存单值进度
• 日志文件可记录时间戳，方便回溯执行情况

2. 带可视化进度条的方案 #

如果需要更直观的进度监控，可以搭配progress包添加进度条，替代print(i)的零散输出：

library(progress)

checkpoint_file <- "loop_checkpoint.rds"
start_i <- 1
total <- 100000

if (file.exists(checkpoint_file)) {
  start_i <- readRDS(checkpoint_file) + 1
}

# 创建进度条：显示进度百分比、剩余时间
pb <- progress_bar$new(
  format = "  当前进度: [:bar] :percent 预计剩余时间: :eta",
  total = total - start_i + 1,
  clear = FALSE,
  width = 60
)

for (i in start_i:total) {
  Sys.sleep(i*2 + 5)
  
  # 更新进度条
  pb$tick()
  
  # 保存检查点
  saveRDS(i, checkpoint_file)
  
  # 可选：记录详细执行日志
  if (i %% 50 == 0) {
    cat(
      paste0(Sys.time(), " | 完成第", i, "次循环\n"),
      file = "detailed_progress.log",
      append = TRUE
    )
  }
}

file.remove(checkpoint_file)

优势： #

• 可视化进度更直观，无需频繁查看控制台的print输出
• 进度条自动计算剩余时间，方便预估总耗时

3. 批次式处理方案 #

对于超大规模循环，可以将任务拆分为多个批次，减少检查点的写入频率，提升整体效率：

batch_size <- 1000  # 每个批次包含1000次循环
total <- 100000
checkpoint_file <- "batch_checkpoint.rds"

# 读取上次完成的批次序号
last_batch <- if (file.exists(checkpoint_file)) readRDS(checkpoint_file) else 0

# 遍历批次
for (batch in (last_batch + 1):ceiling(total / batch_size)) {
  # 计算当前批次的起始和结束序号
  start_i <- (batch - 1)*batch_size + 1
  end_i <- min(batch*batch_size, total)
  
  cat(paste0(Sys.time(), " | 开始处理第", batch, "批次，范围：", start_i, "-", end_i, "\n"))
  
  # 执行当前批次的循环
  for (i in start_i:end_i) {
    Sys.sleep(i*2 + 5)
    print(i)
  }
  
  # 保存当前完成的批次序号
  saveRDS(batch, checkpoint_file)
}

file.remove(checkpoint_file)

优势： #

• 大幅减少检查点的写入次数（每个批次仅写一次），降低IO开销
• 批次划分清晰，方便排查某一批次的问题

额外注意事项 #

• 如果循环中有计算结果需要保留，不要只保存i，可以把结果和当前序号一起保存为列表：saveRDS(list(current_i = i, current_result = result_data), checkpoint_file)
• 中断循环时尽量使用正常的Ctrl+C，避免强制关闭R导致检查点文件损坏；若文件损坏，可通过日志文件回溯最近完成的序号
• 避免用write.csv保存单个值，CSV是文本格式，读写效率远低于二进制格式的RDS

内容的提问来源于stack exchange，提问作者Leonhardt Guass