在PySpark中能否将Google BigQuery凭据以变量传入spark.read？

当然可以直接传入JSON字符串或字典形式的凭据，无需依赖本地密钥文件，具体有两种常用实现方式：

方式一：直接传入JSON字符串 #

如果你的googleKey是完整的JSON格式字符串，直接通过credentials选项传入即可：

df = spark.read.format("bigquery") \
  .option("credentials", googleKey) \
  .option("parentProject", "projectId") \
  .option("table", "project.table") \
  .load()

方式二：将字典转为JSON字符串传入 #

如果googleKey是Python字典类型，先将其序列化为JSON字符串再传入：

import json

google_key_json = json.dumps(googleKey)
df = spark.read.format("bigquery") \
  .option("credentials", google_key_json) \
  .option("parentProject", "projectId") \
  .option("table", "project.table") \
  .load()

注意事项 #

• 确保googleKey包含BigQuery API访问所需的完整字段（如client_email、private_key等）
• 这种内存传参的方式避免了密钥落地存储，符合安全管理的最佳实践

内容的提问来源于stack exchange，提问作者5e6e5ns1