Sparklyr读取S3中多个Parquet文件时进程无限期运行

可能的原因及对应方案 #

1. Hive支持禁用的影响 #

你设置了config$sparklyr.connect.enablehivesupport <- FALSE，但Spark处理S3目录时，Hive元数据支持可辅助解析目录结构。尝试启用Hive支持：

config <- spark_config()
config$sparklyr.connect.enablehivesupport <- TRUE
sc <- spark_connect(master = "local", config = config)

注：确保Spark环境包含Hive依赖（local模式下预打包的Spark版本通常自带）。

2. S3路径与文件过滤问题 #

• 确认路径末尾带斜杠：s3a://bucket/path/to/dir/，末尾斜杠能确保Spark识别为目录
• 若目录下存在隐藏文件、临时文件（如._SUCCESS、.tmp开头的文件），会拖慢扫描速度。可通过pathGlobFilter参数过滤有效文件：

sparklyr::spark_read_parquet( 
  sc,
  name = 'test',
  path = 's3a://.../../',
  options = list(pathGlobFilter = "*.parquet")
)

3. S3客户端配置缺失 #

单个文件能读取但目录不行，可能是目录扫描时的权限或超时问题。添加必要的Spark S3配置：

config <- spark_config()
config$sparklyr.connect.enablehivesupport <- TRUE
# 配置AWS凭证（也可通过环境变量或~/.aws/credentials文件设置）
config$spark.hadoop.fs.s3a.access.key <- "YOUR_ACCESS_KEY"
config$spark.hadoop.fs.s3a.secret.key <- "YOUR_SECRET_KEY"
# 调整扫描超时时间，适配大型目录
config$spark.hadoop.fs.s3a.connection.timeout <- 300000
config$spark.hadoop.fs.s3a.socket.timeout <- 300000

sc <- spark_connect(master = "local", config = config)

4. 本地模式资源不足 #

Local模式下Spark核心数、内存有限，文件过多时会导致扫描缓慢甚至假死。调整资源配置：

config <- spark_config()
config$sparklyr.connect.enablehivesupport <- TRUE
config$spark.executor.cores <- 4
config$spark.executor.memory <- "8g"
config$spark.driver.memory <- "4g"

sc <- spark_connect(master = "local", config = config)

5. 避免手动使用通配符 #

spark_read_parquet本身支持读取目录，无需手动添加*.parquet通配符，直接用目录路径即可，通配符可能导致路径解析异常。

验证步骤 #

1. 在S3控制台确认目标目录下的Parquet文件均有效、无损坏
2. 用Spark原生API测试目录读取，排除sparklyr封装的问题：

df <- sc %>% spark_session() %>% invoke("read") %>% invoke("parquet", "s3a://.../../")
df %>% invoke("count")

若此命令也卡住，说明问题出在Spark与S3的交互上，而非sparklyr。

内容的提问来源于stack exchange，提问作者alex