R语言foreach并行处理PDF时Java内存不足问题求助

问题根源 #

你遇到的java.lang.OutOfMemoryError: GC overhead limit exceeded本质是并行worker的JVM内存总和超出了机器可用内存：

• 主进程设置的options(java.parameters = "-Xmx8000m")只会作用于主R进程的JVM，每个并行worker都是独立的R进程，会启动自己的JVM实例。
• 你启动了3个worker，每个都试图占用8GB内存，总需求达到24GB，远超你的8GB物理内存，导致JVM频繁垃圾回收却无法释放足够内存，触发报错。

解决方案 #

1. 限制每个worker的JVM内存并减少worker数量

根据你的机器配置（8GB内存），给每个worker分配合理的内存额度，同时减少worker数量（建议不超过物理核心数，即2个）：

options(java.parameters = "-Xmx8000m") # 主进程的设置保留（如果主进程还要用的话）
library("rio")
library("rJava")
library("tabulizerjars")
library(tabulizer)
library("foreach")
library("doParallel")

Urls <- c(
  "https://www.ffiec.gov/CraAdWeb/pdf/2017/D1-100000000011.PDF",
  "https://www.ffiec.gov/CraAdWeb/pdf/2017/D1-100000000081.PDF",
  "https://www.ffiec.gov/CraAdWeb/pdf/2017/D1-100000000241.PDF"
)

# 调整worker数量为2（匹配物理核心数）
cl <- makeCluster(2)
registerDoParallel(cl)

# 给每个worker单独设置JVM内存（这里分配2GB，留足系统和其他进程的内存）
clusterEvalQ(cl, {
  options(java.parameters = "-Xmx2000m")
  library(rJava)
  library(tabulizerjars)
  library(tabulizer)
})

# 并行处理，直接返回结果列表（避免用assign，更符合foreach的使用习惯）
Daten <- foreach(i = 1:3) %dopar% {
  location <- Urls[i]
  extract_tables(location)
}

stopCluster(cl)

# 可以把列表中的结果命名，方便后续使用
names(Daten) <- paste0("Bank", 1:3)

2. 关闭GC开销限制（临时缓解，不推荐作为长期方案）

如果调整内存后仍有问题，可以添加JVM参数关闭GC开销限制，但这只是让JVM继续尝试回收内存，不能解决根本的内存不足问题：

# 在worker的JVM参数中添加
options(java.parameters = c("-Xmx2000m", "-XX:-UseGCOverheadLimit"))

3. 额外优化建议

• 避免大对象在worker间传递：确保extract_tables返回的结果是必要的最小数据，减少内存占用。
• 处理后即时清理：在每个worker的任务中，完成提取后可以用gc()手动触发垃圾回收，释放内存。
• 考虑分批次处理：如果PDF数量极多，可以分批次并行处理，避免同时启动过多worker。

关键注意点 #

Windows系统下的并行进程是完全独立的，内存不共享，所以每个worker的内存占用是叠加的，一定要根据总可用内存计算每个worker的合理内存额度，不要贪多设置过大的-Xmx值。

内容的提问来源于stack exchange，提问作者Lakue101