在Databricks中使用sparklyr连接BigQuery报错求助

我是Databricks新手，当前在Google Cloud环境中运行Databricks。已成功通过SparkR连接BigQuery并读取数据，但使用sparklyr连接时触发空指针异常，报错提示bq.staging_dataset.gcs_bucket=null。

成功的SparkR代码 #

library(SparkR)

sparkR.session()

df <- loadDF(
  path = "project_id.dataset_id.table_id",
  source = "bigquery",
  header = "true",
  inferSchema = "true"
)

报错的sparklyr代码 #

library(sparklyr)

sc <- spark_connect(method  = "databricks")
df <- spark_read_bigquery(
  sc,
  name = "my_table",
  projectId = project_id,
  datasetId = dataset_id,
  tableId = table_id
)

报错信息 #

com.google.cloud.spark.bigquery.repackaged.com.google.inject.ProvisionException:
Unable to provision, see the following errors:

1) Error in custom provider, java.lang.NullPointerException: null value in
entry: bq.staging_dataset.gcs_bucket=null at
com.google.cloud.spark.bigquery.SparkBigQueryConnectorModule.provideSparkBigQueryConfig(SparkBigQueryConnectorModule.java:65)
while locating com.google.cloud.spark.bigquery.SparkBigQueryConfig

1 error

Run `sparklyr::spark_last_error()` to see the full Spark error (multiple lines)
To use the previous style of error message set
`options("sparklyr.simple.errors" = TRUE)`

原因分析 #

SparkR的loadDF在Databricks环境中会自动复用集群配置的临时GCS桶，但sparklyr的spark_read_bigquery不会自动读取该配置，必须显式指定BigQuery连接器所需的临时GCS桶参数，否则会触发空指针异常。

解决方案 #

方法1：在spark_read_bigquery中显式指定临时GCS桶 #

调用函数时通过sparkConfig参数传入临时GCS桶信息：

library(sparklyr)

# 替换为你的GCS临时桶名称
temp_gcs_bucket <- "your-temp-gcs-bucket"

sc <- spark_connect(method = "databricks")
df <- spark_read_bigquery(
  sc,
  name = "my_table",
  projectId = project_id,
  datasetId = dataset_id,
  tableId = table_id,
  sparkConfig = list(
    "spark.sql.bigquery.gcs.bucket" = temp_gcs_bucket
  )
)

方法2：在Databricks集群级别配置临时GCS桶 #

1. 进入Databricks集群配置页面
2. 在Spark > Spark config中添加以下配置：

spark.sql.bigquery.gcs.bucket your-temp-gcs-bucket

3. 重启集群后，直接使用原sparklyr代码即可，无需额外参数

注意事项 #

• 确保指定的GCS桶已存在，且Databricks集群的服务账号拥有该桶的读写权限
• 临时桶用于BigQuery与Spark之间的数据中转，连接器会自动创建临时表并清理中转数据

内容的提问来源于stack exchange，提问作者filemonPi