通过BigQuery外部连接访问AWS S3时遇凭证缺失错误求助

我在尝试用BigQuery External Connections（Omni）访问AWS S3中的CSV文件时，执行以下查询：

SELECT * FROM EXTERNAL_QUERY("data-test.aws-us-east-1.sample_data_source", "SELECT * FROM INFORMATION_SCHEMA.TABLES;");

收到错误：

Invalid table-valued function EXTERNAL_QUERY External database credentials not found for connection data-test.aws-us-east-1.sample_data_source at [1:15]

已配置AWS S3 Policy和IAM角色授权GCP访问，但问题依旧，求排查方向和关键配置步骤。

核心排查与解决步骤 #

1. 确认BigQuery连接的凭证关联有效性 #

• 进入BigQuery控制台，找到目标连接data-test.aws-us-east-1.sample_data_source，检查AWS IAM role字段是否填入了正确的IAM角色ARN，该角色必须是你为GCP访问S3专门创建的角色
• 确认连接创建时已勾选Enable connection选项，未启用的连接会直接导致凭证无法被识别

2. 验证AWS IAM角色的策略配置 #

• 信任策略必须明确允许GCP的BigQuery Omni服务账户扮演该角色，示例配置：

  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Principal": {
          "AWS": "arn:aws:iam::<GCP项目编号>:user/gcp-bigquery-omni"
        },
        "Action": "sts:AssumeRole",
        "Condition": {
          "StringEquals": {
            "sts:ExternalId": "<你的GCP项目ID>"
          }
        }
      }
    ]
  }
  

  替换占位符为实际的GCP项目编号和ID
• 权限策略需覆盖目标S3桶的访问权限，示例：

  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Action": ["s3:GetObject", "s3:ListBucket"],
        "Resource": [
          "arn:aws:s3:::<你的S3桶名>",
          "arn:aws:s3:::<你的S3桶名>/*"
        ]
      }
    ]
  }
  

  确保资源路径包含你要访问的CSV文件所在的桶及子路径

3. 检查连接ID的引用正确性 #

• 确认查询中使用的连接ID格式为[项目ID].[区域].[连接名]：
  • data-test必须是当前使用的GCP项目ID
  • aws-us-east-1需是BigQuery Omni支持的AWS区域（如us-east-1、us-west-2等）
  • sample_data_source是连接的准确名称，无拼写错误
• 若连接创建在其他项目或区域，需确保当前查询的项目拥有访问该连接的权限

4. 验证执行查询的用户权限 #

• 确保执行查询的用户/服务账户拥有bigquery.connections.use权限，可通过授予BigQuery Connection User预定义角色实现
• 若使用服务账户执行查询，需确认该账户已被授权使用目标连接

5. 检查区域一致性与延迟问题 #

• 确保BigQuery连接的区域与AWS S3桶的区域一致，跨区域访问可能导致凭证获取失败
• 修改IAM策略或连接配置后，等待1-2分钟再测试，配置生效存在延迟

额外实践建议 #

• 避免用INFORMATION_SCHEMA.TABLES测试连接，直接查询具体CSV文件更易定位问题，示例：

  SELECT * FROM EXTERNAL_QUERY(
    "data-test.aws-us-east-1.sample_data_source",
    "SELECT * FROM s3object s WHERE s._1 = '测试值';"
  );
  

• 确认连接中配置的数据源格式与CSV文件匹配（分隔符、表头、编码等），格式不匹配可能混淆报错信息

内容的提问来源于stack exchange，提问作者Robin