Databricks使用R连接Snowflake时连接速度极慢问题求助

• 首先确认传参逻辑错误：你当前将查询字符串直接作为无键元素追加到options列表的写法不符合Snowflake Spark连接器的参数规范，连接器无法识别该字符串为待执行的查询，会默认触发当前指定Schema下全量元数据扫描操作。若你的Schema下存在数千甚至上万张表/视图，元数据扫描耗时达到数十分钟属于典型现象，扫描完成后连接链路已建立，因此后续查询速度正常。这也是你本地用dbGetQuery无此问题的核心原因：dbGetQuery会直接将传入的字符串识别为查询语句，不会触发全量元数据扫描。
• 其次排查连接器版本兼容问题：若Databricks Runtime版本与集群安装的Snowflake Spark连接器版本不匹配，会导致连接握手阶段反复重试，增加初始化耗时。
• 最后排查网络配置问题：若Databricks集群未配置Snowflake的同区域VPC端点，走公网跨区域访问Snowflake实例，也可能出现初始化阶段DNS解析、代理建联超时重试的问题。

1 优先修复传参逻辑 #

将查询字符串封装为带sfQuery键的列表元素后再追加到options中，参考代码如下：

# 正确的查询参数定义格式
client_Q <- list(sfQuery = "SELECT * FROM <my_database>.<my_schema>.<my_table>")

query<- spark_read_source(
  sc = sc,
  name = "query_tbl",
  memory = FALSE,
  overwrite = TRUE,
  source = "snowflake",
  options = append(sf_options, client_Q)
)

该配置会直接告知连接器需要执行的查询语句，跳过全量元数据扫描步骤，90%以上的同类场景修改后即可恢复秒级连接。

2 增加元数据扫描限制参数 #

如果修改传参后仍有延迟，可在snowflake参数列表中追加以下配置缩小元数据扫描范围：

sf_options <- list(
  sfUrl = "https://<my_account>.snowflakecomputing.com",
  sfUser = "<my_user>",
  sfPassword = "<my_pass>",
  sfDatabase = "<my_database>",
  sfSchema = "<my_schema>",
  sfWarehouse = "<my_warehouse>",
  sfRole = "<my_role>",
  # 新增参数
  sfTables = "<my_table>",
  sfSkipMetadataCheckOnWrite = "true"
)

3 版本&网络验证 #

• 确认Databricks Runtime版本与Snowflake Spark连接器版本匹配：比如Runtime 10.x对应连接器2.11.x版本、Runtime 11.x+对应连接器2.12.x版本，不要跨大版本混用。
• 确认Databricks集群与Snowflake实例部署在同一云区域，优先配置Snowflake私有链接访问，避免公网传输延迟。

4 备用读取方案 #

如果sparklyr封装的spark_read_source仍存在兼容问题，可直接调用原生Snowflake数据源接口读取：

query <- sc %>%
  spark_read_format("net.snowflake.spark.snowflake") %>%
  spark_options(!!!sf_options, sfQuery = "SELECT * FROM <my_database>.<my_schema>.<my_table>") %>%
  spark_load()

内容的提问来源于stack exchange，提问作者APW