Sparklyr可连接YARN集群但数据操作执行失败求助

我之前碰到过一模一样的问题，这个报错本质是Spark的广播变量无法从Driver传输到Executors，通常和网络连通性、资源配置或者版本兼容有关，给你几个具体的排查和解决方向：

1. 优先检查Driver与Executor的网络连通性 #

这个是最常见的原因——你的RStudio（也就是Spark Driver所在机器）和集群中的Executors之间网络不通，导致广播变量传不过去：

• 找到Spark UI里的Executor列表（连接成功后RStudio会显示Spark UI的链接），复制每个Executor的主机名，在RStudio机器上用ping [executor-hostname]或者telnet [executor-hostname] [executor-port]测试连通性；
• 确认防火墙/安全组规则允许Driver和Executor之间的双向通信，Spark广播变量会用到随机端口范围，最好放开集群内部的所有通信端口（或者咨询集群管理员配置正确的端口规则）。

2. 调整Spark广播变量与序列化配置 #

可以在spark_connect时添加针对性的配置，优化广播变量的传输：

library(sparklyr)
sc <- spark_connect(
  master = "yarn-client",
  spark_home = "/usr/lib/spark2",
  config = list(
    spark.driver.maxResultSize = "4g",  # 增大Driver接收结果的上限
    spark.broadcast.blockSize = "128m",  # 调整广播块的大小，减少传输次数
    spark.serializer = "org.apache.spark.serializer.KryoSerializer"  # 替换为Kryo序列化，比默认Java序列化更高效稳定
  )
)

Kryo序列化不仅能提升传输效率，还能解决部分Java序列化无法处理的数据类型问题，很多时候能直接解决广播失败的报错。

3. 优化YARN资源分配配置 #

如果Executor的资源不足，也会导致无法接收和处理广播变量：

• 在连接时明确指定Executor和Driver的资源：

sc <- spark_connect(
  master = "yarn-client",
  spark_home = "/usr/lib/spark2",
  config = list(
    spark.executor.memory = "8g",
    spark.executor.cores = 4,
    spark.driver.memory = "4g"
  )
)

• 同时确认YARN的NodeManager有足够的空闲资源，避免Executor启动后因资源不足被Kill（可以通过YARN的ResourceManager UI查看资源使用情况）。

4. 检查Spark与Sparklyr的版本兼容性 #

你使用的是Spark2，要确保sparklyr版本与之兼容：

• 运行packageVersion("sparklyr")查看当前版本，sparklyr 1.x系列是稳定支持Spark2的；
• 如果是较新的sparklyr版本（比如3.x+），可能会出现兼容性问题，建议降级到兼容版本：

install.packages("sparklyr", version = "1.8.2")

5. 尝试切换到YARN-Cluster模式 #

YARN-Client模式下Driver在本地机器，而YARN-Cluster模式下Driver运行在集群内部，能规避跨机器的网络问题：

sc <- spark_connect(master = "yarn-cluster", spark_home = "/usr/lib/spark2")

注意：切换到集群模式后，Spark UI的地址需要从YARN的Application Manager中查看，同时要确保集群能访问到你的R代码依赖。

最后可以先测试一个简单的聚合操作（比如tbl(sc, "tblname") %>% count()），如果这个也报错，那基本就是上面的某个原因；如果count能正常运行，那可以试试用Spark原生的采样方法替代dplyr的采样：

# 用Spark原生sample函数
spark_dataframe(tbl(sc, "tblname")) %>% invoke("sample", FALSE, 0.1) %>% sdf_register()

内容的提问来源于stack exchange，提问作者user1775655