使用R与sparklyr执行简单查询为何异常缓慢？

以下是在Databricks中运行的R代码：

library(sparklyr)
library(dplyr)
library(arrow)

sc <- spark_connect(method = "databricks")
tbl_change_db(sc, "prod")
trip_ids <- spark_read_table(sc, "signals",memory=F) %>% 
            slice_sample(10) %>% 
            pull(trip_identifier)

尽管仅查询10个样本，但这段代码运行异常缓慢，耗时长达数小时。请问导致该问题的原因是什么？是否有性能优化的方法？

• slice_sample的底层实现开销：Spark的slice_sample默认会触发全表扫描，甚至对全表数据做随机排序操作——哪怕只需要10条样本。如果signals是超大规模的表，这种全表级别的计算会消耗大量资源和时间。
• 未利用表的分区/索引优化：如果signals是分区表，但采样时没有指定过滤条件，Spark会遍历所有分区的数据；若表没有针对采样或trip_identifier的索引，无法快速定位样本，只能全表扫描。
• pull操作的前置计算瓶颈：pull本身开销不大，但它需要等待前面的采样计算完成，而未优化的采样操作已经占用了绝大部分时间。

• 使用Spark SQL的TABLESAMPLE直接采样：TABLESAMPLE是Spark原生的高效采样方式，它能在数据扫描阶段直接抽取样本，避免全表排序。用sparklyr执行SQL的示例：

  trip_ids <- sc %>% 
    spark_sql("SELECT trip_identifier FROM prod.signals TABLESAMPLE (10 ROWS)") %>% 
    pull(trip_identifier)
  

  针对超大表，也可以先按极小百分比采样再取前10条：

  trip_ids <- sc %>% 
    spark_sql("SELECT trip_identifier FROM prod.signals TABLESAMPLE (0.0001 PERCENT) LIMIT 10") %>% 
    pull(trip_identifier)
  

• 添加分区过滤缩小扫描范围：如果signals表有分区字段（如date），先过滤指定分区再采样，大幅减少需要处理的数据量：

  trip_ids <- spark_read_table(sc, "signals", memory=F) %>% 
    filter(date >= '2024-01-01') %>% 
    slice_sample(10) %>% 
    pull(trip_identifier)
  

• 更新表统计信息与优化表结构：执行ANALYZE TABLE prod.signals COMPUTE STATISTICS让Spark获取表的准确元数据，优化执行计划；如果是Delta Lake表，可执行OPTIMIZE prod.signals ZORDER BY trip_identifier（根据业务场景判断是否适用），提升数据检索效率。
• 替换slice_sample为sample_n：sparklyr的sample_n底层可能生成更高效的执行计划，尝试替换：

  trip_ids <- spark_read_table(sc, "signals", memory=F) %>% 
    sample_n(10) %>% 
    pull(trip_identifier)
  

内容的提问来源于stack exchange，提问作者Funkwecker