Sparklyr执行千万级表左连接报java.lang.OutOfMemoryError如何解决

一、先确认参数生效问题（你之前配置未生效大概率是这个原因） #

首先明确：Spark本地模式下，driver和executor共用同一个JVM进程，配置spark.executor.memory、num-executors这类参数完全无效，所有资源配置只需针对driver即可。
参数生效的核心要求：所有带sparklyr.shell前缀的参数必须在spark_connect()执行前定义，连接创建后再修改配置不会生效。
正确的配置参考：

library(tidyverse)
library(sparklyr)

config <- spark_config()
# 给driver分配40G内存，预留24G给操作系统、R进程和堆外内存使用
config["sparklyr.shell.driver-memory"] <- "40G"
# 堆内存用于Spark计算的比例设为0.8，预留足够空间处理内部对象
config$spark.memory.fraction <- 0.8
# 如果不需要collect结果到R，maxResultSize可以设小一点，需要的话可以调大到20G
config$spark.driver.maxResultSize <- "20G"

# 再创建连接，local[*]表示使用所有CPU核心
sc <- spark_connect(master = "local[*]", config = config, spark_home = spark_home_dir())

连接创建后可以执行以下命令验证参数是否正确生效：

spark_config(sc)$spark.driver.memory

二、Join逻辑优化（本地模式下OOM的核心原因通常是Shuffle开销过大） #

你的右表df2仅2000万行3列，属于小表，最优方案是用广播Join避免Shuffle，无需排序混洗数据，直接将小表分发到所有计算节点本地完成Join，内存开销会降低90%以上：

# Join时广播小表df2，必须显式指定by参数声明连接键，避免Spark自动匹配字段出错
df3 <- df1 %>%
  dplyr::left_join(y = sparklyr::sdf_broadcast(df2), by = "你的连接键名")

三、如果广播后仍有OOM，按以下步骤排查 #

• 检查分区数是否合理：默认分区数过少会导致单个分区数据量过大，你可以在Join前对大表重分区：

  # 将df1重分区到200个，单个分区数据量控制在25万行左右
  df1_repart <- df1 %>% sdf_repartition(200, partition_by = "你的连接键名")
  

• 排查数据倾斜：统计连接键的频次，检查是否存在单个键对应数百万条记录的情况：

  # 查看df1中连接键的Top10高频值
  df1 %>% count(你的连接键名) %>% arrange(desc(n)) %>% head(10)
  

  如果存在严重倾斜，单独拆分高频键处理，或者给连接键加随机盐拆分后再Join。
• 避免不必要的collect()操作：5000万行的结果集直接collect到R内存会直接占满内存，非必要场景直接用spark_write_parquet写磁盘即可。

内容的提问来源于stack exchange，提问作者obruzzi