如何在Dataproc集群中通过服务账号实现DuckDB连接BigQuery的认证

核心问题 #

在Dataproc集群使用DuckDB的BigQuery扩展时，无法复用已通过gcloud模拟的服务账号（SA），受公司政策限制仅能使用**应用默认凭据（ADC）**方案，且需要完全自动化、无用户交互的实现方式。

解决方案步骤 #

1. 配置Dataproc服务账号的模拟权限

给Dataproc集群默认使用的服务账号（或你当前登录的SA）添加Service Account Token Creator角色，授权其模拟目标SA。这是实现无交互模拟的前提。

2. 生成无交互的应用默认凭据（ADC）

执行以下gcloud命令生成关联目标SA的ADC，全程无用户交互：

gcloud auth application-default login --impersonate-service-account=你的目标SA邮箱 --no-launch-browser

• --no-launch-browser：避免弹出浏览器，适合服务器环境执行
• 执行后，ADC凭据会自动缓存到默认路径~/.config/gcloud/application_default_credentials.json

3. 验证ADC配置有效性

运行以下命令确认ADC已关联目标SA：

gcloud auth application-default print-access-token

输出的访问令牌应归属你要模拟的目标SA。

4. 让DuckDB识别ADC

确保DuckDB进程能读取到ADC的位置，可通过环境变量显式指定（Dataproc环境默认也会识别默认路径）：

export GOOGLE_APPLICATION_CREDENTIALS=~/.config/gcloud/application_default_credentials.json

之后执行你的SQL代码即可正常认证：

INSTALL bigquery FROM community;
LOAD BIGQUERY;
ATTACH 'project=X' AS bq (TYPE bigquery, READ_ONLY);
SELECT * FROM bq.MY_DATASET.MY_TABLE;

5. 集成到自动化Dataproc作业

如果是提交Dataproc批量作业，可将ADC配置步骤加入作业初始化脚本。例如Shell作业的初始化脚本：

#!/bin/bash
# 生成ADC凭据
gcloud auth application-default login --impersonate-service-account=你的目标SA邮箱 --no-launch-browser
# 设置环境变量
export GOOGLE_APPLICATION_CREDENTIALS=~/.config/gcloud/application_default_credentials.json

关键说明 #

之前的gcloud config set auth/impersonate_service_account仅配置了gcloud命令自身的默认SA，不会自动同步到ADC。DuckDB的BigQuery扩展依赖ADC机制，因此必须显式生成关联目标SA的ADC凭据才能生效。

内容的提问来源于stack exchange，提问作者Aleksander Lipka