Spark BigQuery Connector能否为临时GCS桶单独配置凭证？

Spark BigQuery Connector支持为临时GCS桶单独设置凭证，无需依赖全局Hadoop配置，适配共享Databricks环境的安全需求。

你可以通过gcsCredentials专属参数，为临时GCS桶单独指定凭证，与BigQuery的访问凭证完全分离：

outDF.write
  .format("bigquery")
  .option("temporaryGcsBucket", "bq_temporary_folder")
  .option("parentProject", "user_project")
  .option("table", "user.destination_table")
  .option("credentials", <base 64 encoded bq creds>)
  // 为临时GCS桶单独配置凭证
  .option("gcsCredentials", <base 64 encoded gcs creds>)
  .mode(SaveMode.Overwrite)
  .save()

关键说明： #

• gcsCredentials参数格式与credentials一致，接受Base64编码的服务账号密钥字符串；
• 配置后，Connector操作临时GCS桶时会使用该参数指定的凭证，完全绕过全局Hadoop配置，避免共享环境下的凭证冲突和安全风险。

内容的提问来源于stack exchange，提问作者Rui Yang