Spark BigQuery Connector读取BQ数据是否始终使用Storage API？

针对你提到的第二种读取方式（通过BigQuery插槽执行BQ查询），答案是：当BQ查询完成并生成物化结果后，Spark Connector确实会通过Storage Read API将这些结果读取到Spark DataFrame中。

具体细节如下：

• 当你通过Connector提交BQ查询（比如使用spark.read.format("bigquery").option("query", "SELECT ...").load()这类写法），BigQuery会先利用插槽资源执行查询，将结果物化到内部临时存储中。
• 查询完成后，Connector会切换到Storage Read API模式，从物化结果的存储位置并行拉取数据，最终转换为Spark分布式DataFrame。

关于你关心的核心疑问：所有从BigQuery读取数据到Spark的场景，最终都是通过Storage Read API完成传输。无论是直接读取BQ表的第一种方式，还是先执行BQ查询再读取结果的第二种方式，Connector底层都统一依赖Storage API来完成数据拉取，以此利用其高并行、低延迟的特性优化读取性能。

插槽的作用仅局限于BQ查询执行阶段——比如用于处理复杂SQL逻辑、借助预留资源提升查询速度等，一旦查询结果物化完成，后续的数据读取流程就和直接读取BQ表的逻辑完全一致了。

内容的提问来源于stack exchange，提问作者obviouslydont