在R中批量检测URL状态时遭遇Too many open files错误的解决方法

错误原因 #

你碰到的Too many open files错误，本质是系统允许同时打开的文件/网络句柄配额被耗尽了：

• 基础函数curlGetHeaders在处理大量URL时，不会自动复用连接，每个请求都会新建一个未及时释放的网络句柄，积累到一定数量就触发上限
• 如果你的代码里有循环内反复打开、写入CSV文件却没显式关闭的逻辑，也会快速消耗文件句柄

解决方案 #

1. 换用更可控的curl包函数 #

放弃curlGetHeaders，改用curl包的curl_fetch_memory——它自带连接池管理，能自动复用连接，大幅减少句柄占用。

2. 内存暂存结果，批量写入文件 #

别在循环里逐行写CSV，先把所有状态码存在内存里，等所有URL处理完再一次性写入文件，彻底避免频繁文件IO带来的句柄浪费。

3. 加延迟+异常捕获 #

大规模请求时加短延迟，既避免被目标服务器封禁，也给系统留时间释放句柄；同时捕获请求异常，防止单个失败请求打断整个流程。

示例代码（适配你的测试预期） #

library(curl)

# 生成6万+条测试假数据
set.seed(123)
test_data <- data.frame(
  url = paste0("https://fake-url-", 1:60000, ".com"),
  stringsAsFactors = FALSE
)

# 初始化状态码为0（符合测试预期）
test_data$status_code <- 0

# 循环处理所有URL
for (i in seq_len(nrow(test_data))) {
  url <- test_data$url[i]
  tryCatch({
    # 发送请求（即使失败也不改变status_code）
    resp <- curl_fetch_memory(url)
    # 若要真实状态码可取消下一行注释，测试时保持0即可
    # test_data$status_code[i] <- resp$status_code
  }, error = function(e) {
    # 异常时仍维持status_code为0
    NULL
  })
  
  # 每处理100条请求暂停0.1秒，避免请求过载
  if (i %% 100 == 0) Sys.sleep(0.1)
}

# 一次性写入结果到CSV
write.csv(test_data, "url_status_codes.csv", row.names = FALSE)

额外优化 #

• 用future.apply做并行处理能提速，但要控制并行数（比如4-8线程），避免句柄过载
• Linux/macOS用户可通过ulimit -n查看系统句柄上限，必要时临时调高（需sudo权限执行ulimit -n 65535）

内容的提问来源于stack exchange，提问作者Javi