Airflow BigQueryOperator无法查询BigQuery公共数据集：accessDenied权限错误求助

看起来你遇到的问题是典型的IAM权限与组织政策冲突导致的——虽然你给服务账号授予了BigQuery Admin角色，但公共数据集的访问可能被更高优先级的规则限制了。下面是一步步的排查和解决方法：

1. 确认Composer Worker使用的服务账号是否正确 #

Cloud Composer的任务由Worker节点执行，它们默认使用环境创建时指定的Worker服务账号，而非你手动配置的其他账号。请按以下步骤验证：

• 打开Cloud Composer环境详情页，找到「Worker service account」字段，复制对应的邮箱地址
• 进入IAM页面，搜索该邮箱，检查它是否真的被授予了BigQuery Admin角色，并且没有附加条件限制（比如条件仅允许访问你自己项目内的数据集）

2. 检查组织级别的公共数据集访问限制 #

这是最常见的根源：很多企业会通过组织政策（Org Policy）禁止访问BigQuery公共数据集，这个规则会直接覆盖IAM角色的权限。

• 打开Google Cloud Console的「Org Policy」页面
• 搜索政策Restrict BigQuery public dataset access（ID：constraints/bigquery.restrictPublicDatasetAccess）
• 如果该政策处于「Enforced」状态：
  • 若允许全局放开，可将其设置为「Not enforced」
  • 若需要精细化控制，可添加例外规则，允许你的Composer Worker服务账号访问公共数据集

3. 验证Airflow的BigQuery连接配置 #

你的DAG使用了bigquery_default连接，需要确认这个连接的认证方式正确绑定了Worker服务账号：

• 登录Airflow UI，进入「Admin」→「Connections」
• 找到bigquery_default连接，检查其「Extra」字段：
  • 若使用默认Composer服务账号，字段内应包含{"key_path": "/var/secrets/google/service_account.json"}
  • 若使用自定义服务账号密钥，确认密钥对应的账号就是你授予权限的那个，且密钥未过期

4. 直接测试服务账号的权限 #

用gcloud命令模拟服务账号访问公共数据集，排除Airflow配置的干扰：

# 激活目标服务账号（替换为你的密钥文件路径）
gcloud auth activate-service-account --key-file=/path/to/your-service-account-key.json

# 运行测试查询
bq query --use_legacy_sql=false "SELECT * FROM `bigquery-public-data.crypto_ethereum.blocks` LIMIT 1"

• 如果命令报错，说明问题出在服务账号本身的权限/组织政策，回到步骤1和2排查
• 如果命令成功，说明Airflow的连接或Operator配置有问题，可尝试重新创建bigquery_default连接

额外优化：清理不必要的参数 #

你的DAG里设置了google_cloud_storage_conn_id='bigquery_default'，这个参数仅在将查询结果导出到GCS时才需要，当前任务是写入BigQuery表，可以去掉该参数，避免混淆配置。

内容的提问来源于stack exchange，提问作者locket