如何将GCS中存储的Delta Lake文件导入BigQuery

是否有可用的库/连接器，可直接将存储在Google Cloud Storage（GCS）中的Delta Lake文件导入BigQuery？

我已实现通过Spark Dataframe作为中间介质写入BigQuery表，但未找到无需经过Spark dataframe转换即可完成该操作的直接连接器或BigQuery库。

我尝试使用官方连接器spark-bigquery-connector，但该连接器文档缺少指向BigQuery特定项目的相关说明，因此仅能完成将GCS中的DeltaLake文件加载到Dataframe的操作，无法推进后续流程。

参考相关评论我已可以写入BQ，但该方案未做优化，即便我尽可能优化Spark Job，其效率也不及由Google Bigquery库在底层直接完成操作的方案。

由于未找到直接解决方案，我最终使用spark-bigquery-connector按如下方式摄取Delta文件：

myDeltaTable.toDF
  .write
  .format("bigquery")
  .mode("overwrite")
  .option("parentProject", "MY_PARENT_PROJECT")
  .option("project", "MY_PROJECT")
  .option("temporaryGcsBucket", "A_STAGING_BUCKET_IN_GCS") // Mandatory
  .option("partitionField", "MY_PARTITION_FIELD")
  .save("DATASET.TABLE")

内容的提问来源于stack exchange，提问作者Ismail H