AWS Glue下载BigQuery连接器失败：LAUNCH ERROR问题求助

问题概述 #

使用「google bigquery connector 0.24.2 for aws glue 3.0」时，Glue任务启动失败，提示LAUNCH ERROR | Glue ETL Marketplace - failed to download connector，日志显示尝试获取ECR镜像清单时多次重试失败。

排查与解决步骤 #

1. 检查Glue作业的网络配置 #

• 如果作业关联了VPC：
  • 确认子网类型：若使用私有子网，必须配置NAT网关确保实例能访问公网ECR服务；若使用公有子网，需确保子网关联了Internet Gateway。
  • 安全组规则：允许出站HTTPS（443端口）流量到ECR服务地址，或直接允许所有出站流量用于测试。
  • 可选优化：创建ECR的VPC端点（包括ecr.dkr和ecr.api两类端点），让Glue无需公网即可访问ECR资源。

2. 验证IAM角色权限 #

• 确认Glue作业使用的IAM角色已正确附加AWSEC2ContainerRegistryFullAccess策略，同时需包含glue:GetConnection权限（日志显示作业需要获取连接信息）。
• 检查角色是否存在拒绝策略，避免权限被意外限制。

3. 确认连接器订阅与版本匹配 #

• 验证当前AWS区域（us-east-1）已成功订阅「google bigquery connector 0.24.2 for aws glue 3.0」，且作业中指定的连接器版本与订阅版本完全一致（0.24.2-glue3.0）。

4. 手动测试ECR访问 #

在同VPC的EC2实例上，使用Glue角色的临时凭证测试拉取ECR镜像，排查网络/权限问题：

# 获取ECR登录凭证
aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin 709825985650.dkr.ecr.us-east-1.amazonaws.com
# 尝试拉取连接器镜像
docker pull 709825985650.dkr.ecr.us-east-1.amazonaws.com/amazon-web-services/glue/bigquery:0.24.2-glue3.0

若拉取失败，根据错误信息定位具体问题（如网络不通、权限不足）。

5. 检查代理配置 #

日志显示作业使用了代理169.254.76.0:8888，需确认：

• 代理服务器允许访问ECR域名（709825985650.dkr.ecr.us-east-1.amazonaws.com）。
• 若为内部代理，是否需要将ECR域名加入代理白名单或排除列表。

内容的提问来源于stack exchange，提问作者Khawaja Abdul Ahad