R sparklyr使用copy_to传输大数据框到Spark速度过慢如何解决

核心原因 #

默认copy_to函数采用CSV序列化做R和Spark的中间数据传输，文本序列化、解析的开销极大，大数据量下速度会非常慢。

最优方案：启用Arrow序列化 #

你已经加载了arrow包，只需要开启sparklyr的Arrow支持即可，无需修改原有逻辑，传输速度可提升数倍到数十倍。

代码示例 #

library(sparklyr)
library(arrow)

# 建立连接前开启Arrow序列化开关
conf <- spark_config()
conf$sparklyr.arrow <- TRUE
sc <- spark_connect(master = "local", config = conf)

# 此时copy_to自动使用Arrow列式序列化，无需额外调整参数
rdataframe_tbl <- copy_to(sc, rdataframe, "rdataframe", overwrite = TRUE)

超大数据量备选方案：Parquet文件中转 #

如果数据量超过单节点内存上限，建议先将R数据框导出为Parquet列式存储文件，再由Spark直接读取，避免内存OOM同时进一步提升速度。

代码示例 #

# 1. R侧将数据框写入Parquet文件（支持分区、压缩）
arrow::write_parquet(rdataframe, "/tmp/rdataframe_export", compression = "snappy")

# 2. Spark侧直接读取Parquet文件，不需要经过R<->Spark的内存传输链路
rdataframe_tbl <- spark_read_parquet(
  sc,
  name = "rdataframe",
  path = "/tmp/rdataframe_export",
  memory = TRUE # 不需要立刻计算可设为FALSE，减少内存占用
)

额外优化参数 #

• 给copy_to添加overwrite = TRUE参数，避免重复写入时的表存在校验开销
• 提前规整R数据框的字段类型，避免Spark侧做隐式类型转换的额外开销
• 集群环境下可以调整spark.sql.shuffle.partitions参数和集群核数匹配，降低写入时的shuffle开销

内容的提问来源于stack exchange，提问作者anderwyang